Выполняет ли Google обход сайтов Drupal в режиме обслуживания?
Я использую Aegir для клонирования копий моего сайта под именем поддомена, т.е. test.mydomain.com . Эти копии находятся в режиме обслуживания, чтобы защитить их от спамеров и посторонних глаз. Затем я использую эти копии для проведения тестов и разработки, прежде чем вносить изменения на мой основной сайт mydomain.com
Но наношу ли я вред своему SEO из-за существования этих клонированных сайтов? Выполняет ли Google обход сайтов, которые были переведены в режим обслуживания? Будет ли это наказывать меня за то, что у меня так много тупиковые поддомены?
3 answers
Когда вы переводите сайт Drupal в режим обслуживания, пользователи, не являющиеся администраторами, видят страницу стандартного режима обслуживания (при условии, что после этого вы очистите кэш). Если вы изучите ответ, вы увидите, что он отправляется обратно с кодом состояния HTTP 503, который из RFC 2616 выглядит так:
503 Услуга Недоступна
В настоящее время сервер не может обработать запрос из-за временной перегрузки или обслуживания сервера. Подразумевается, что это временное состояние, которое будет облегчено после некоторой задержки. Если известно, продолжительность задержки МОЖЕТ быть указана в заголовке Повторной попытки после. Если повторная попытка не задана, клиент ДОЛЖЕН обработать ответ так, как это было бы для ответа 500.
И из Официального блога веб-мастера Google:
Если мой сайт закрыт на обслуживание, как я могу сказать Googlebot, чтобы он вернулся позже, а не индексировал страницу "закрыт на обслуживание"?
Вы должны настройте свой сервер так, чтобы он возвращал статус 503 (сеть недоступна), а не 200 (успешно). Это позволяет роботу Googlebot узнать, что нужно попробовать страницы еще раз позже.
Таким образом, это свидетельствует о том, что Drupal поступает правильно, и что Google повторно посетит ваш сайт и проиндексирует страницы в следующий раз, когда получит код статуса, отличный от 5XX.
Если вы не сделали что-то специально для этого, Google не сможет сканировать ваш сайт в режиме обслуживания.
Поскольку для просмотра вам необходимо войти в систему, googlebot увидит указанную страницу обслуживания.
Дополнительные рекомендации от Google см. по следующим ссылкам:
- Рекомендации для веб-мастеров: https://support.google.com/webmasters/answer/35769?hl=en
- Рекомендации по SEO (многостраничный PDF-файл): http://www.google.com/webmasters/docs/search-engine-optimization-starter-guide.pdf
- Рекомендации по SEO (одностраничный PDF-файл): https://storage.googleapis.com/support-kms-prod/SNP_3027140_en_v0
Ваши проблемы:
Если вы не знаете, блокирует ли режим обслуживания "все, что вы хотите заблокировать" на 100% (!), но в то же время очень обеспокоены тем, "может ли кто-то вроде Google все еще получить к нему доступ". ...тогда режим обслуживания может быть плохим выбором для блокировки вашего сайта разработки в первую очередь.
Рекомендация:
Лично я рекомендую просто добавить .htpasswd на ваши сайты разработчиков.
Легко автоматизировать даже внутри развертывания aegir. Это никогда не встанет у вас на пути, потому что ваш браузер и любой инструмент командной строки могут пропустить это за вас. Ты можешь впустить других людей. Он блокирует сайт во всей полноте 100% для Google и т.д.