Я.Вебмастер позволит регулировать скорость обхода сайта от YellowRabbit17.02.2018Search Engines А также отказывается от директивы Crawl-delay Powered by WPeMatico