Можно ли блокировать поисковых роботов из Китая и России на сайте электронной коммерции в США?
После блокировки всего трафика из Китая и России (с использованием Incapsula) в приложении электронной коммерции, которое поставляется только в США, я заметил значительное улучшение производительности. Есть ли какой-либо недостаток в том, что поисковые роботы по всей стране блокируют поисковую оптимизацию? Я что-нибудь теряю?
Рис. 1. Посмотрите на облачные часы AWS. Использование процессора, веб-трафик значительно сократились.
Рис. 2. Время отклика сервера невероятно улучшено - Newrelic.
Рис. 3: Индекс приложения подскочил - Newrelic.
1 answers
Если вы не получаете значимого бизнеса от Яндекса или Baidu, то нет никаких недостатков в их блокировке.
Однако, как известно, они игнорируют robots.txt . Я не уверен, изменилось ли это за последние 4 года, но вы будете смотреть на блок уровня сервера. Их пользовательские агенты легко обнаружить, примером.htaccess может быть:
SetEnvIfNoCase User-agent “Baidu” spammer=yes
SetEnvIfNoCase User-agent “Yandex” spammer=yes
<Limit GET PUT POST>
order deny,allow
deny from env=spammer
</Limit>