Я.Вебмастер позволит регулировать скорость обхода сайта