Может ли Googlebot обнаруживать URL-адреса, которые не находятся в привязке?

Question

Может ли Googlebot обнаруживать URL-адреса, которые не находятся в привязке?

В моей поисковой консоли у меня внезапно увеличилось число 404. Они были связаны с веб-страницы, на которой в таблице перечислены файлы с сайта, но ни один из этих URL-адресов не был вложен в тег <a>.

Это был единственный экземпляр URL-адресов, которые я смог найти на странице, что заставило меня задаться вопросом, по-прежнему ли Google следует строке URL-адреса, даже если ее нет в теге <a>?

5

googlebot google-search-console web-crawlers crawl-errors

Author: Stephen Ostermiller, 2016-08-30

Source

1 answers

score 9 · Accepted Answer

Да, они сканируют все, что похоже на URL-адрес. Я сделал тест (на немецком языке, но красный = "не полз" и зеленый = "полз"): http://www.sirpauls.com/welchen-links-folgt-google-ein-experiment/

Google сканировал такие вещи, как

<script>var test="www.example.net/page.html";</script>

Или просто

www.example.net/page.html

Поэтому я думаю, что они ищут только шаблоны URL-адресов.