Влияет ли 401 страница на SEO?
У нас есть веб-сайт, на котором у нас есть около 30 страниц, которые видны только авторизованным пользователям. в Google WMT мы видим ошибки, связанные с тем, что бот Google не может это прочитать.
Должны ли мы добавлять их в наш файл роботов, чтобы они не индексировались, или мы можем оставить это таким образом?
1 answers
Вы можете сделать и то, и другое. В 401 уведомлении об ошибке нет ничего плохого. Это просто уведомления для вашей пользы.
Я бы все же посоветовал, если возможно, добавить их в ваш robots.txt файл, чтобы Google не искал их. Я предполагаю, что их можно легко идентифицировать по URL-адресу.
Другие позволяют Google индексировать эти страницы, чтобы поощрять новых пользователей, однако с точки зрения пользовательского опыта (UX) я не уверен, что это хорошо.