Когда искатель Google откажется от обхода URL-адреса с ошибкой 5xx
Сколько раз поисковый робот Google будет пытаться повторно сканировать URL-адрес, в котором периодически возникает ошибка 5xx? Когда он сдастся и удалит URL-адрес из индекса?
2 answers
Когда Google определит, что у вашего сайта возникли проблемы, он замедлит скорость сканирования. Если ваш сайт менее отзывчив или выдает 500 ошибок Google, Google будет делать меньше запросов в день на ваш сайт в целом.
Googlebot никогда не откажется от какого-либо конкретного URL-адреса. Google вернется и повторит попытку по этому URL-адресу. Как скоро он вернется, определяется тем, насколько важен URL-адрес. Google может потребоваться несколько недель, чтобы снова попробовать использовать неважный URL-адрес, но это может повторить попытку через пару часов, если URL-адрес хорошо связан с другими сайтами и имеет историю частого обновления.
Нет простого способа измерить это, так как, по-видимому, нет жесткого ограничения, а Google настолько сложен, что его трудно измерить.
Однако, чем более прерывистый сервис, тем ниже будет рейтинг URL-адреса, поскольку он приводит к снижению производительности. Это привело бы меня к предположению, что он основан на кривой, а не на двоичном "индексированном" или "неиндексированном".
Единственное, в чем вы можете быть уверены, так это в том, проиндексирован URL-адрес или нет.