Предварительный запуск Запретить в robots.txt?
Моя команда скоро запустит новый сайт.
- Стоит ли блокировать пауков от индексации целевой страницы прямо сейчас?
- Какое влияние это окажет на мои долгосрочные результаты SEO. Уместен ли вообще этот вопрос?
Изменить: заголовок изменен, чтобы отразить реальную природу вопроса.
Правка2: отличные ответы ниже, но на самом деле я ищу ответ, который подскажет мне, хороша ли практика блокировки роботов перед запуском или плохо для будущих результатов SEO.
2 answers
Если целевая страница может позволить вашему конкуренту получить преимущество или украсть часть вашей изобретательности, тогда ДА - ЗАБЛОКИРУЙТЕ ЕЕ.
Однако это не означает, что ваша страница не будет отображаться в результатах поиска. Лучше добавлять <meta content=”noindex”> на каждую страницу, но добавлять и настраивать больше проблем.
Эта статья отличная и поможет с деталями -> robots.txt и влияние на SEO
Если вы действительно хотите контролировать индексацию своего сайта, либо блокировать его, либо продвигать, процесс тот же самый. Да, у вас есть Robots.txt чтобы помочь вам в большинстве поисковых систем (которые поддерживают его, также известные как законные). Но для действительно крупных движков, таких как Google, Yahoo и MSN (не уверен насчет Ask), вы получаете от них инструменты, которые позволяют вам контролировать то, что индексируется в гораздо более тонком дигри, чем Robots.txt и никогда не будет. Для Google это были Инструменты для веб-мастеров, для Yahoo и MSN я забыл, как они назывались, но вы также можете найти их инструменты. К сожалению, инструменты Yahoo и MSN значительно отстают от Google, но все равно должны хорошо справляться с основными потребностями.
Используя комбинацию Robots.txt и инструменты, с помощью которых я успешно предотвратил индексацию группы связанных веб-сайтов (они оставались закрытыми), но я мог бы также повысить их рейтинг, если бы мне понадобилось, с помощью тех же инструментов.