Почему количество страниц на моем сайте, проиндексированных Googlebot, уменьшается?
Я отслеживаю количество страниц, проиндексированных Googlebot для одного из моих веб-сайтов.
Я заметил, что с прошлой недели количество страниц сократилось примерно на 60 или около того. Теперь, чтобы быть справедливым, я не добавил так много за последнюю неделю. (На самом деле я не думаю, что добавил какой-либо новый контент.) Но, по крайней мере, я бы подумал, что количество проиндексированных страниц будет статичным (если бы я не добавлял ничего нового). Я не понимаю, почему цифры имеют упал.
У кого-нибудь есть официальное объяснение этому?. Я проверил инструменты Google для веб-мастеров и не нашел ничего, что напрямую решало бы эту проблему.
3 answers
Похоже, что совсем недавно у Google произошел "сбой" с индексацией, похоже, что на многих сайтах страницы выпадали из индекса Google. Читайте здесь для получения более подробной информации:
Http://searchengineland.com/is-google-broken-sites-big-small-seeing-indexing-problems-53701
Всегда существует вероятность того, что существуют другие проблемы, влияющие на способность вашего сайта индексироваться, но поскольку это широко распространенная проблема, которую Google, похоже, подтвердил, я бы начал там.
Во-первых, бот Google может определить, не обновлялись ли страницы, и не сканировать их в первую очередь (это не должно уменьшать количество проиндексированных страниц). Он может обнаружить это несколькими способами, например, с помощью временных меток или etags.
После обхода нет никаких гарантий, что он будет проиндексирован - может быть, а может и нет. Существует довольно много факторов, которые определяют, будет ли Google индексировать страницы, которые просматривал бот.
Время от времени Google также будет очищать свой индекс и удалите страницы, которые, по их мнению, не должны там находиться. Для этого используются такие вещи, как дублирование контента, нежелательный/спам-контент и другие факторы. Никто (кроме Google) на самом деле не знает заранее, когда происходят такого рода чистки или какие факторы используются. Но время от времени они случаются.
Кроме того, прочитайте содержимое под заголовком "Материалы для индексирования" по ссылке для получения еще большей информации, http://www.google.com/support/forum/p/Webmasters/thread?tid=2ad71287c04eb280
Похоже, что Googlebot больше не может находить ваши страницы. Если страница все еще находится на вашем сайте, Google не удалит ее из индекса, но если многие страницы возвращают 404 ошибки, то они, как правило, будут удалены. В инструментах для веб-мастеров проверьте инструмент "выборка как Googlebot" на некоторых ваших страницах.
Дублированный контент на одном сайте (например, URL-адреса page.html и page.html?x=nothing) может игнорироваться/удаляться, но дублировать контент на нескольких сайтах (например, если вы скопировали контент из Википедии) никогда не будет удален из индекса как такового, он просто нигде не будет ранжироваться.