Проверка URL-адреса Google показывает, что URL-адрес моего изображения заблокирован robots.txt - У меня даже его нет!

Я только что обнаружил, что наш домен системы изображений уже давно не просматривается Google. Причина в том, что все URL-адреса, похоже, заблокированы robots.txt - но у меня даже его нет.

Отказ от ответственности: Из-за некоторого тестирования конфигурации у меня теперь есть общий файл роботов allow-everything в корневом каталоге веб-сайта. До этого часа у меня его не было.

Мы запускаем систему изменения размера изображения в поддомене нашего веб-сайта. Я получаю очень странное поведение при поиске Консоль утверждает, что заблокирована robots.txt, хотя на самом деле у меня ее вообще нет.

Все URL-адреса в этом поддомене дают мне этот результат при их тестировании в реальном времени:

url unknown to google

url supposedly blocked by robots

Пытаясь устранить проблему, я создал robots.txt в корне:

valid robots

Файл robots даже уже виден в результатах поиска:

robots indexed

Заголовки ответов также кажутся хорошо:

​HTTP/2 200 
date: Sun, 27 Oct 2019 02:22:49 GMT
content-type: image/jpeg
set-cookie: __cfduid=d348a8xxxx; expires=Mon, 26-Oct-20 02:22:49 GMT; path=/; domain=.legiaodosherois.com.br; HttpOnly; Secure
access-control-allow-origin: *
cache-control: public, max-age=31536000
via: 1.1 vegur
cf-cache-status: HIT
age: 1233
expires: Mon, 26 Oct 2020 02:22:49 GMT
alt-svc: h3-23=":443"; ma=86400
expect-ct: max-age=604800, report-uri="https://report-uri.cloudflare.com/cdn-cgi/beacon/expect-ct"
server: cloudflare
cf-ray: 52c134xxx-IAD

Вот несколько примеров URL-адресов для тестирования:

https://kanto.legiaodosherois.com.br/w760-h398-gnw-cfill-q80/wp-content/uploads/2019/10/legiao_zg1YXWVbJwFkxT_ZQR534L90lnm8d2IsjPUGruhqAe.png.jpeg
https://kanto.legiaodosherois.com.br/w760-h398-gnw-cfill-q80/wp-content/uploads/2019/10/legiao_FPutcVi19O8wWo70IZEAkrY3HJfK562panvxblm4SL.png.jpeg
https://kanto.legiaodosherois.com.br/w760-h398-gnw-cfill-q80/wp-content/uploads/2019/09/legiao_gTnwjab0Cz4tp5X8NOmLiWSGEMH29Bq7ZdhVPlUcFu.png.jpeg

Что мне делать?

Author: Stephen Ostermiller, 2019-10-27
Source

1 answers

Вам не следует использовать функцию Google Search Console для проверки URL-адресов изображений. Это только для веб-страниц, которые могут быть проиндексированы в веб-поиске. Смотрите этот твит Джона Мюллера из Google

Инструмент проверки URL полезен только для веб-страниц, поэтому, если вы проверяете изображения, CSS, JS и т. Д., То результаты там не были бы столь полезными (они отражали бы, как мы бы индексировали его, если бы это была веб-страница, которой они не являются).

Другие люди заметили это та же проблема. Проверка URL-адресов показывает, что все изображения заблокированы robots.txt даже если это не так.

По-видимому, это связано с тем, что Google не хочет индексировать изображения в веб-поиске. Таким образом, он сообщает, что они не могут быть проиндексированы. Похоже, что сейчас у них есть единственный способ сообщить, что что-то не должно индексироваться, - это сказать, что оно заблокировано robots.txt .

Инструмент не работает для изображений. В нем говорится, что изображения блокируются, когда это не так. Не используйте инструмент для проверки изображений.

 4
Author: Stephen Ostermiller, 2019-10-27 10:09:44