web-crawlers

Из предыдущих исследований, посвященных чтению различных статей, я понимаю, что robots.txt задержка обх ... к 8 640 страницам в день. Мой вопрос crawl-delay: x; кому-нибудь здесь удалось понять, как там работает математика?

На главной странице моего веб-сайта у меня есть несколько предварительных просмотров статей (с небольши ... вводил ссылки в них, но я просто не хочу, чтобы это сохраняло информацию (которая будет повторена в полных статьях).

Я использую Magento для одного из своих сайтов. В Magento есть файл mage (только имя файла без расширен ... e, например magenta-color-item.html. Как я пишу в роботе, чтобы заблокировать mage только не URL, начинающийся с mage?

У меня есть пара вопросов об обходе Ajax веб-сайта, который сам по себе является своего рода поисковой ... бавить карту сайта со ссылками на все результаты поиска? Есть ли какой-нибудь пример решения, описанный в статье выше?

Я увидел, что у Google есть хорошее предложение/стандарт для обеспечения возможности обхода приложений ... ложение" уже в реальном мире? Другие поисковые системы, в частности Bing, также используют или планируют использовать его?

С помощью robots.txt Я пытаюсь остановить весь обход URL-адресов поиска Disallow: /rest_of_url/search ... p;tour-duration=1/ Остановит ли приведенный выше код Disallow роботов от обхода всех моих страниц результатов поиска?

В своих журналах я заметил, что много запросов поступало от разных ботов и веб-сканеров, но меня смутил ... мер, запретить роботам посещать /fpss/ в файле robots.txt, но я хотел бы понять, почему они это делают в первую очередь.

Поисковые роботы, зарегистрированные на Facebook (ipv6, заканчивающийся на:face:b00c::1), захлопнули на ... по ссылке и попали по URL-адресу только для сеанса. Правка3: Facebook, похоже, подтвердил ошибку и ищет исправление .

Если бы у меня был URL-адрес, подобный https://example.com/books, который содержал бы несколько ссылок ... d=baz Будет ли там будут ли какие-либо различия/предпочтения? Или поисковая система будет сканировать и то, и другое?

У нас хорошо продуманная система внутренних ссылок, которая гарантирует, что ни одна страница не превыш ... ить достаточно хорошо в покое или должен ли я использовать "Nofollow" для внутренних ссылок на соответствующий контент?

Я забочусь о веб-сайте, на котором есть несколько изображений, поступающих по внешним ссылкам. Дело в ... ages/*.jpg$ Disallow: /*.jpg$ Поскольку все наши личные изображения находятся в определенной папке. Сработает ли это?

Google сообщил об ошибках сканирования на прошлой неделе на моем крупнейшем сайте с помощью инструментов ... огласно инструментам веб-мастера Google, эти ошибки появились в течение 11 дней. Ранее не сообщалось об ошибках обхода.

Итак, у нас есть международный сайт с несколькими поддоменами для каждого языка. У нас есть разметка hr ... Является ли этот сценарий перенаправления плохим для SEO и наших рейтингов SERP? Если ДА, то как именно это вредит нам?

Я искал документацию о том, как боты Microsoft и Google интерпретируют 301 перенаправление. Похоже, ... ак, потому что указанных страниц больше не существует? Какие еще у меня есть варианты, о которых я, возможно, не знаю?

Я создал простой новый веб-сайт, который заработал около полутора месяцев назад (заменив предыдущий). С ... о кэширована, так есть ли способ удалить ее? (У меня нет большого опыта работы с инструментами Google для веб-мастеров.)

Мой сайт построен как СПА-центр с использованием нокаута. Главная страница динамически заполняет список ... либо "стандартизированный" метод реализации, например, поддомен, который я мог бы использовать, например seo.mysite.com?

Я сделал что-то, что делает это, когда люди попадают на мою страницу в первый раз, они получают перенап ... pt находится на каждой странице и повторяется в PHP каждый время, когда кто-то (или робот) посещает сайт в первый раз.

Мы выпустили наш веб-сайт из нашего мобильного приложения за очень короткий промежуток времени. Сайт до ... одинаковы. Может ли это быть проблема? Какой алгоритм заставляет Google думать, что 2 страницы являются дубликатами?

Я искал способ предотвратить обратный поиск изображений (а именно, я не хотел, чтобы люди, у которых бы ... мена (http://domain.blogspot.com), и мне интересно, не в этом ли причина проблемы? Любые идеи, как решить эту проблему?

Я блокирую различных ботов в robots.txt и мне было интересно, чувствительны ли их имена к регистру. Например: User-agent: grapeshot Disallow: / Будет ли иметь значение, если я использую grapeshot или GrapeShot?