Как запретить Google показывать ошибочную и устаревшую страницу поддомена в дополнительных ссылках
Для нашего домена, example.com, у нас есть 2 поддомена: a0.example.com и a1.example.com . Эти 2 предназначены только для изображений продуктов - изображения, хранящиеся здесь, доступны как a0.example.com/var1/var2/prod_id_img_1.jpg, и связаны с продуктами, перечисленными в разделе www.example.com . Другого использования этих поддоменов не существует.
Перед выпуском у нас была страница по адресу (a0|a1).example.com говоря "Скоро будет", которое мы пропустили, чтобы удалить позже (так как не получили доступ из нашего основного сайт).
Теперь мы обнаруживаем, что при поиске нашего домена "пример" 1-я дополнительная ссылка "Скоро" и ссылки на a0.example.com (остальные 5 показанных дополнительных ссылок являются действительными).
Вопросы следующие:
Как мне правильно избавиться от этой страницы, чтобы она не отображалась в дополнительных ссылках Google (и любых других поисковых системах, если таковые имеются)? Должен ли я просто удалить его, чтобы получить статус 404, или мне следует запустить его через 410, или мне нужно сделать что-нибудь еще - для надлежащего удаления (для когда-либо)?
Просматривая журналы nginx, я замечаю, что бот Google периодически ищет карты сайтов в разделе (a0|a1).example.com . Мне не хватает какой-либо явной конфигурации, из-за которой бот Google ищет здесь карты сайта, или это стандартное поведение, и мне не нужно беспокоиться?
На веб-мастере у нас есть example.com и www.example.com свойства. example.com не настроен, но www.example.com работает и работает нормально. Нужно ли мне что-нибудь делать с example.com свойство, которое может помочь с нашим (s0|s1).example.com использование?
Заранее благодарю вас за вашу помощь.
1 answers
У вас есть несколько вариантов.
Удалите и разрешите всем запросам выдавать ошибку 404, однако, если это index.html в корневом каталоге каждого поддомена я бы настоятельно рекомендовал не делать этого и сохранить файл по соображениям безопасности.
-
Исключить страницу в robots.txt файл в каждом поддоменном веб-пространстве. Вот пример кода для исключения index.html файл в каждом корневом веб-каталоге поддомена.
User-agent: * Disallow: /index.html
-
Используйте noindex в Заголовок HTML. Вот пример кода для размещения в теге HTML
<head>
.<meta name="robots" content="noindex">
-
Перенаправляйте любой запрос на страницу на домашнюю страницу сайта. Вот пример кода для этого. Вы можете поместить это в свой файл .htaccess в каждом корневом веб-домене поддомена. (Предполагая, что Apache)
Redirect permanent /index.html http://www.example.com/