Будет ли страница 403, пустая страница и перенаправление страницы индексироваться поисковыми роботами?
Мне интересно, нужно ли выдавать директиву disallow роботам на страницах, которые будут генерировать:
- запрещенная ошибка 403;
- пустая страница или;
- перенаправление страницы (например, на страницу входа в систему).
Не окажет ли это какого-либо влияния на SEO сайта?
2 answers
Будут ли они проиндексированы:
- Ошибка 403 – нет, большинство поисковых систем не индексируют страницы с ошибками (при условии, что они обслуживаются с правильным кодом состояния HTTP)
-
Пустая страница – почти наверняка нет, если предположить, что она полностью пуста (нет
<title>, ничего). - Перенаправление страницы – Обычно индексируется только место назначения перенаправления (обычно это предполагаемый результат), но это зависит от типа перенаправления. Для 301 перенаправляющая страница будет деиндексирована в пользу целевой страницы, однако для 302 часто как ссылающаяся, так и целевая страница могут продолжать индексироваться.
Влияние SEO
Из вышесказанного вы должны видеть, что, если все настроено правильно, то в случаях (1) и (3) нам не нужно делать ничего другого для управления SEO-воздействием этих страниц.
В случае (2) нам, вероятно, больше ничего не нужно делать для действительно пустой страницы, хотя я бы рекомендовал вообще избегать создания пустых страниц, если это возможно. Если нет, Disallow лучше, чем ничего, и если вы можете применить "noindex" непосредственно к странице либо через HTML, либо через HTTP-заголовок, еще лучше.
Вы должны заблокировать эти каталоги в роботах, не столько для целей ранжирования, потому что не имеет значения, что Google часто находит много 403, и это не является нарушением для Google, чтобы найти их. Но это загромождает ваши инструменты веб-мастера, поэтому лучше всего их заблокировать.
Заблокируйте Зарегистрированные Пользовательские области следующим образом:
Robots.txt
User-agent: *
Disallow: /user-area-here-change-me/
Также используйте noindex, как рекомендует Google: На всех страницах зарегистрированной области используйте:
<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">