Как запретить Google показывать ошибочную и устаревшую страницу поддомена в дополнительных ссылках


Для нашего домена, example.com, у нас есть 2 поддомена: a0.example.com и a1.example.com . Эти 2 предназначены только для изображений продуктов - изображения, хранящиеся здесь, доступны как a0.example.com/var1/var2/prod_id_img_1.jpg, и связаны с продуктами, перечисленными в разделе www.example.com . Другого использования этих поддоменов не существует.

Перед выпуском у нас была страница по адресу (a0|a1).example.com говоря "Скоро будет", которое мы пропустили, чтобы удалить позже (так как не получили доступ из нашего основного сайт).

Теперь мы обнаруживаем, что при поиске нашего домена "пример" 1-я дополнительная ссылка "Скоро" и ссылки на a0.example.com (остальные 5 показанных дополнительных ссылок являются действительными).

Вопросы следующие:

  1. Как мне правильно избавиться от этой страницы, чтобы она не отображалась в дополнительных ссылках Google (и любых других поисковых системах, если таковые имеются)? Должен ли я просто удалить его, чтобы получить статус 404, или мне следует запустить его через 410, или мне нужно сделать что-нибудь еще - для надлежащего удаления (для когда-либо)?

  2. Просматривая журналы nginx, я замечаю, что бот Google периодически ищет карты сайтов в разделе (a0|a1).example.com . Мне не хватает какой-либо явной конфигурации, из-за которой бот Google ищет здесь карты сайта, или это стандартное поведение, и мне не нужно беспокоиться?

  3. На веб-мастере у нас есть example.com и www.example.com свойства. example.com не настроен, но www.example.com работает и работает нормально. Нужно ли мне что-нибудь делать с example.com свойство, которое может помочь с нашим (s0|s1).example.com использование?

Заранее благодарю вас за вашу помощь.

Author: Ethan Collins, 2017-03-17

1 answers

У вас есть несколько вариантов.

  1. Удалите и разрешите всем запросам выдавать ошибку 404, однако, если это index.html в корневом каталоге каждого поддомена я бы настоятельно рекомендовал не делать этого и сохранить файл по соображениям безопасности.

  2. Исключить страницу в robots.txt файл в каждом поддоменном веб-пространстве. Вот пример кода для исключения index.html файл в каждом корневом веб-каталоге поддомена.

    User-agent: *
    Disallow: /index.html
    
  3. Используйте noindex в Заголовок HTML. Вот пример кода для размещения в теге HTML <head>.

    <meta name="robots" content="noindex">
    
  4. Перенаправляйте любой запрос на страницу на домашнюю страницу сайта. Вот пример кода для этого. Вы можете поместить это в свой файл .htaccess в каждом корневом веб-домене поддомена. (Предполагая, что Apache)

    Redirect permanent /index.html http://www.example.com/
    
 1
Author: closetnoc, 2018-05-09 08:50:01