Есть ли какая-либо причина разрешить Yahoo! Хлебать, чтобы сканировать мой сайт?

Я думал, что год или больше назад Yahoo! будет использовать другую поисковую систему для получения результатов и больше не будет использовать своего собственного бота для прихлебывания. Тем не менее, пара сайтов, которыми я управляю, Yahoo! Slurp продолжает сканировать страницы и, похоже, игнорирует код состояния "Ушел" при возврате (поскольку он продолжает возвращаться).

Есть ли какая-либо причина, по которой я не хотел бы блокировать Yahoo! Хлебать через robots.txt или по IP (так как он имеет тенденцию игнорировать robots.txt в любом случае, в некоторых случаях)?

Я подтверждено, что когда бот действительно попадает, это происходит от Yahoo! IP-адреса, поэтому я считаю, что это законный экземпляр бота.

Является ли поиск Yahoo таким же, как поиск Bing сейчас? - это связанный с этим вопрос, но я не думаю, что он полностью отвечает на вопрос, следует ли добавлять новый блок бота.