Как "Noindex:" в robots.txt работать?
Я наткнулся на эту статью в моих сегодняшних новостях SEO. Похоже, это подразумевает, что вы можете использовать директивы Noindex: в дополнение к стандартным директивам Disallow: в robots.txt.
Disallow: /page-one.html
Noindex: /page-two.html
Похоже, что это помешает поисковым системам сканировать первую страницу и не позволит им индексировать вторую страницу.
Это robots.txt директива, поддерживаемая Google и другими поисковыми системами? Работает ли это? Это задокументировано?
1 answers
Google неофициально поддерживал директиву Noindex в robots.txt , однако в 2019 году они объявили , что директива больше не будет работать.
Вот что говорит Джон Мюллер из Google о Noindex: в robots.txt:
Мы использовали для поддержки директивы no-index в robots.txt в качестве экспериментальной функции. Но это то, на что я бы не стал полагаться. И я не думаю, что другие поисковые системы используют это в все.
До того, как Google объявил, что эта функция была прекращена, deepcrawl.com провел некоторое тестирование функции и обнаружил, что:
- До 2019 года он все еще работал с Google
- Это предотвратило появление URL-адресов в индексе поиска
- URL-адреса, которые не были индексированы в robots.txt были помечены как таковые в поисковой консоли Google
Учитывая, что Google прекратил использование этой функции, ее не следует использовать больше не.
Вместо этого используйте мета-теги роботов, которые хорошо поддерживаются и документированы , чтобы предотвратить индексирование:
<meta name="robots" content="noindex" />