Google добавил в документацию больше примеров по директивам метатега Robots