Bingbot пытается получить доступ к несуществующим страницам
Недавно я внес некоторые существенные изменения в веб-сайт электронной коммерции, которые включают структуру URL-адресов. URL-адрес для просмотра продукта изменен.htaccess и содержит краткое описание продукта, которое в случае изменения не повлияет на результаты на странице.
Пример: www.Example.com/staticFolder/non-deterministic-product-details/MODEL#.html
Теперь в файле журнала ошибок я вижу, что bingbot запрашивает такие страницы, как example.com/non-deterministic-product-details
Наши карты сайтов не ссылаются на эту страницу, и я не могу найти никаких плохих ссылок на страницах. У кого-нибудь еще были проблемы с бингбот делает это? Я нашел еще один вопрос, который был заблокирован из-за случайности. Бингбот, вызывающий 404 ошибки. Более вероятно, что я делаю что-то не так? Следует ли мне избегать использования каталогов psuedo в моем.htaccess?
- Спасибо
1 answers
Нет ничего, что требовало бы, чтобы пауки придерживались только для обхода ссылок. Вполне возможно, что он угадывает URL-адреса, похожие на известные, в надежде, что он что-нибудь найдет.
В любом случае, я бы не беспокоился об этом, если бы вы не знали, что он следует по плохой ссылке. Вполне нормально получать множество запросов на несуществующие страницы.