web-crawlers

На моей домашней странице есть несколько поддоменов, где я могу воспользоваться robots.txt блокировать ... жений Facebook или мне следует игнорировать это? Любая веская причина для разрешить поисковым системам сканировать его?

Я наткнулся на эту статью в моих сегодняшних новостях SEO. Похоже, это подразумевает, что вы можете ... robots.txt директива, поддерживаемая Google и другими поисковыми системами? Работает ли это? Это задокументировано?

Я запускаю Медиавики в домене someurl.com/wiki/. К сожалению, он генерирует кучу автоматически сгенер ... archengines? Если нет, то как я могу деиндексировать это огромное количество автоматически сгенерированных URL-адресов?

Моя структура URL-адресов выглядит примерно так: /group1/ /group2/ /group3/ Group3 ( и это подстрани ... ешить /group3 и /lang/group3, но заблокировать /lang/group* из индекса. Каков правильный синтаксис роботов для этого?

Прошу прощения за то, как расплывчато звучит вопрос; Я не смог написать полный вопрос в названии, потом ... этого поста давайте предположим, что предыдущие канонические теги веб-сайта были признаны поисковой системой надежными.

В моем веб-приложении я создаю ссылки в следующем формате: https://example.com/^token^ Каждая ссылка ... ена? Мое приложение находится в Laravel, и я использую комбинацию nginx и php-fpm для предоставления контента браузеру.

Может ли пользователь или веб-искатель увидеть содержимое/исходный код веб-документа, который автоматич ... ругую страницу с помощью перенаправления 301? Возможно ли это? Как пользователь может видеть содержимое веб-документа?

Мы заметили много ошибок "Удобства использования мобильных устройств" в консоли поиска. Когда я нажимал ... rk.com/ Есть ли у вас какие-либо идеи, что можно изменить, чтобы бот Google всегда мог загружать CSS с CDN CloudFront?

Вот в чем проблема: Допустим, у меня есть mydomain.com. В externaldomain.com/article/mydomain есть i ... e/mydomain или он заблокирует mydomain.com, потому что externaldomain.com robots.txt запретить доступ к папке /article?

Я не знал понятия авторитета домена/страницы в SEO еще 1 час назад. Мы блокируем ботов, сканеры, пауков ... ботов влияет на результаты DA, как на этой странице? https://websiteseochecker.com/bulk-check-page-authority/ Спасибо.

Большая часть пропускной способности одного сайта используется неопознанным ботом. Согласно данным AWST ... редела пропускной способности и превышена загрузка процессора для моего хоста, поэтому мне было отправлено уведомление.

Существует небольшой веб-сайт возрастом несколько лет с очень небольшим количеством страниц (~5), котор ... ни другое. Попытался отправить sitemap.xml но это дает мне 404 ошибки и для этого тоже. Что вызывает это проблема?

Я пишу скрипт, который заблокирует любого бота, который запрашивает страницы, например X раз в прошлом 5 ... нд. Мне нужно найти крестик здесь. Ребята, вы знаете какие-нибудь приблизительные значения, которые я могу использовать?

У меня есть подкаталог, который я хотел бы скрыть от веб-искателей. Один из способов сделать это - ис ... едует ли использовать относительный или абсолютный пути? User-agent: * Disallow: /X/ Или User-agent: * Disallow: /

У меня есть каталог, полный файлов .txt, которые используются как часть более крупного приложения javas ... ст тегом? Существует ли какой-либо другой способ неиндексировать текстовый файл извне? Или нет индекса общего каталога?

Сканируют ли поисковые системы страницу, у которой есть мета-атрибут "noindex"? Причина, по которой я ... наруживаться как дубликаты? Должен ли я добавлять атрибут "nofollow" к ссылке, пока мы делаем эти страницы уникальными?

У нас были некоторые серьезные проблемы с (невероятно) плохо написанным пауком Yahoo в прошлом , и в р ... дует рассмотреть возможность их разблокировки, если они каким-то образом, вопреки всему, остановились так сильно сосет?

Я думал, что год или больше назад Yahoo! будет использовать другую поисковую систему для получения резу ... это связанный с этим вопрос, но я не думаю, что он полностью отвечает на вопрос, следует ли добавлять новый блок бота.

В процессе перемещения сайта из одного поддомена в другой поддомен. Для многих вложенных папок 301 пере ... делать тот. Смогут ли мета-роботы noindex, nofollow достичь как потери бюджета при обходе, так и выпадения из индекса?

Я хочу запретить индексацию моего веб-сайта через robots.txt с помощью ботов-пауков MSN/Bing, Yahoo, As ... Или, может быть, я добавил что-то лишнее? Есть ли какой-либо официальный robots.txt правила для каждого веб-искателя?