Яндекс отказался от учета Crawl-delay и ввел ручное ограничение скорости обхода сайта

Для того чтобы все действительно нужные страницы сайтов появлялись и обновлялись в поиске быстро, Яндекс решил отказаться от учета директивы Crawl-delay. Не секрет, что многие …