Является ли хорошей практикой блокировать обход политики конфиденциальности веб-сайта с помощью robots.txt?
Я не уверен, следует ли мне добавлять политику конфиденциальности моего веб-сайта в свой robots.txt файл или нет. Я хочу следовать хорошей практике SEO. У меня нет причин скрывать свою политику конфиденциальности.
Аргументы против: Я хочу быть видимым и не замеченным, чтобы скрывать юридические страницы. Это маловероятно, но некоторые пользователи могут искренне захотеть найти его в поисковой системе.
Аргументы в пользу: адвокаты/адвокаты, как правило, повторно используют эти документы, поэтому предоставленный мне текст может быть не уникальным. На самом деле эта страница не так важна для людей, чтобы попасть на нее из поисковой системы.
Есть какие-нибудь советы?
2 answers
Ваши аргументы против того, чтобы не блокировать индексацию этих легальных страниц, являются обоснованными. Мэтт Каттс снял видео на эту тему здесь в 2009 году:
Https://www.youtube.com/watch?v=unEML5n5vTo
Хотя это не совсем ясное "да" или "нет" от Google, второй важный вопрос, который нужно задать: "важны ли эти страницы для моих пользователей?" . Если да, то Google должен найти их.
Основываясь на нашем исследовании, которое мы написали на эту тему в нашем блоге, мы обнаружили, что это обычные юридические страницы. Google знает, что эти правила требуются по закону, что легальные страницы не богаты контентом и что у вас, скорее всего, будет такой же контент, как и у других веб-сайтов на этих страницах.
Если вы решите заблокировать индексирование этих страниц, используйте тег meta robots вместо robots.txt:
<meta name="robots" content="noindex, nofollow" />
Любая ошибка в robots.txt может привести к тому, что Google не будет индексировать весь ваш веб-сайт. meta robots tag является безопасным вариантом для управления этим.
Избегайте любых ссылок на страницу конфиденциальности или условий и положений в robots.txt . Лучшей практикой SEO было бы создание мета-роботов с инструкциями noindex, nofollow в разделе head следующим образом:
<meta name="robots" content="noindex,nofollow">
Таким образом, ваша страница конфиденциальности не будет проиндексирована.
Вам необходимо сделать эту страницу доступной для пользователя, создав внутреннюю ссылку в нижнем колонтитуле. Таким образом, поисковые системы также смогут найти страницу, а затем найти noindex, nofollow инструкции.
Вы можете использовать другие подходы, но для меня это лучший из них. Сделайте свой веб-сайт всегда доступным для обхода и используйте файл роботов, чтобы обезопасить себя и других пользователей, просматривающих ресурсы.