Как получить десятки миллионов страниц, проиндексированных ботом Google?
В настоящее время мы разрабатываем сайт, на котором в настоящее время 8 миллионов уникальных страниц, которые сразу вырастут примерно до 20 миллионов, а в конечном итоге до 50 миллионов или более.
Прежде чем вы начнете критиковать... Да, он предоставляет уникальный, полезный контент. Мы постоянно обрабатываем необработанные данные из общедоступных записей, и, выполнив некоторую очистку данных, свертку сущностей и сопоставление отношений, мы смогли создать качественный контент, разработав сайт, который является весьма полезным и также уникальный, отчасти из-за широты данных.
Его PR равен 0 (новый домен, без ссылок), и мы получаем паутину со скоростью около 500 страниц в день, что на сегодняшний день составляет около 30 000 проиндексированных страниц. При таких темпах индексирование всех наших данных заняло бы более 400 лет.
У меня есть два вопроса:
- Является ли скорость индексации напрямую коррелированной с PR, и под этим я подразумеваю, достаточно ли она коррелирована, чтобы покупка старого домена с хорошим PR позволила доведите нас до приемлемой скорости индексации (около 100 000 страниц в день).
- Есть ли какие-либо консультанты по SEO, которые специализируются на содействии самому процессу индексации. В остальном мы очень хорошо справляемся с SEO, на -странице, особенно, кроме того, конкуренция за наши "длиннохвостые" ключевые фразы довольно низкая, поэтому наш успех зависит в основном от количества проиндексированных страниц.
Наш главный конкурент проиндексировал около 20 000 страниц всего за один год, наряду с рейтингом Alexa 2000 года.
Заслуживающие внимания качества, которыми мы обладаем:
- скорость загрузки страницы довольно хорошая (250-500 мс)
- нет ошибок (нет 404 или 500 ошибок при попадании в паутину)
- мы используем инструменты веб-мастера Google и ежедневно входим в систему
- удобные URL-адреса на месте
- Я боюсь отправлять карты сайтов. В некоторых публикациях SEO-сообщества предлагается новый сайт с миллионами страниц, и никакой пиар не вызывает подозрений. Есть видео Мэтта Каттса в Google кстати, о постановочной посадке на крупные сайты тоже, чтобы избежать повышенного внимания (примерно в 2:30 на видео).
- Кликабельные ссылки на сайты доставляют все страницы, не более четырех страниц в глубину и, как правило, не более 250 (-иш) внутренних ссылок на странице.
- Якорный текст для внутренних ссылок логичен и иерархически добавляет релевантность данным на страницах сведений.
- Ранее мы установили максимальную скорость обхода на веб-мастере инструменты (максимум примерно по странице каждые две секунды). Недавно я вернул его на "пусть Google решает", что и рекомендуется.
6 answers
Некоторые потенциальные стратегии:
- Инструменты Google для веб-мастеров позволяют запрашивать повышенную скорость обхода. Попробуйте сделать это, если вы еще этого не сделали.
- Еще раз взгляните на свою навигационную архитектуру, чтобы понять, нельзя ли улучшить доступ к большему количеству вашего контента. Посмотрите на это с точки зрения пользователя: если пользователю трудно найти определенную информацию, это может быть трудно и для поисковых систем.
- Убедитесь, что у вас нет дублированного контента из-за несоответствующие параметры URL-адреса или неправильное использование косых черт. Устраняя дублирующийся контент, вы сокращаете время, которое Googlebot тратит на обход того, что он уже проиндексировал.
- По возможности используйте ссылки на связанный контент и ссылки на сайте в своем контенте .
- Рандомизируйте некоторые из ваших ссылок. Боковая панель со случайным внутренним содержимым - отличный шаблон для использования.
- Используйте даты и другие микроформаты.
- Используйте RSS-каналы везде, где это возможно. Будут функционировать RSS-каналы почти то же самое, что и карта сайта (на самом деле, инструменты веб -мастера позволяют отправлять ленту в виде карты сайта).
- Что касается карт сайта, см. этот вопрос.
- Найдите способы получения внешних ссылок на ваш контент. Это может ускорить процесс его индексирования. Если это соответствует типу контента, облегчение обмена в социальных сетях или по электронной почте поможет в этом.
- Предоставьте API для стимулирования использования ваших данных и внешних ссылок на ваши данные. Вы можете иметь ссылка на атрибуцию как требование к использованию данных.
- Примите сообщество. Если вы правильно свяжетесь с нужными людьми, вы получите внешние ссылки через блоги и Twitter.
- Ищите способы создать сообщество вокруг ваших данных. Найдите способ сделать это социальным. API, мэшапы, социальные виджеты - все это помогает, но так же помогают блог, витрины сообществ, форумы и игровая механика (также см. это видео).
- Определите приоритетность проиндексированного контента. С так много данных, не все из них будут абсолютно жизненно важными. Примите стратегическое решение о том, какой контент является наиболее важным, например, он будет наиболее популярным, у него больше шансов на рентабельность инвестиций, он будет наиболее полезным и т.д., и убедитесь, что этот контент проиндексирован в первую очередь.
- Проведите подробный анализ того, что делает ваш конкурент, чтобы проиндексировать свой контент. Посмотрите на их архитектуру сайта, их навигацию, их внешние ссылки и т.д.
Наконец, я должен сказать вот что. SEO и индексирование - это лишь малая часть работы бизнес-сайта. Не теряйте внимания на рентабельность инвестиций ради SEO. Даже если у вас много трафика от Google, не имеет значения, сможете ли вы его конвертировать. SEO - это важно, но его нужно учитывать в перспективе.
Редактировать:
В качестве дополнения к вашему варианту использования: вы можете рассмотреть возможность предоставления обзоров или отзывов для каждого человека или бизнеса. Кроме того, раздача бейджей пользователей, как это делает StackOverflow, может побудить по крайней мере некоторых людей ссылка на их собственный профиль на вашем сайте. Это поощряло бы некоторые внешние ссылки на ваши глубокие страницы, что могло бы означать более быструю индексацию.
Как получить десятки миллионов страниц индексируется ботом Google?
Это не произойдет в одночасье, однако я гарантирую, что вы увидите больше своих страниц в паутине раньше, если бы входящие ссылки на глубокий контент (в частности, страницы карты сайта или индексы каталогов, которые указывают на еще более глубокий контент) добавлялись с аналогичных крупных сайтов, которые существуют уже некоторое время.
Будет ли более старого домена достаточно для индексирования 100 000 страниц в день?
Сомнительно, если только вы не говорите о более старом домене, в котором на протяжении многих лет была значительная активность (т.Е. накопленный контент и входящие ссылки).
Есть ли какие-либо консультанты по SEO, которые специализируются на содействии индексации сам процесс.
Когда вы ставите вопрос таким образом, я уверен, что вы найдете множество SEO-специалистов, которые громко заявляют "да!", но, в конце концов, предложения Virtuosi Media являются такими же хорошими советами, как вы получите от любого из них (не говоря уже о потенциально плохих советах).
Судя по всему, вам следует рассмотреть возможность использования каналов развития бизнеса и связей с общественностью для повышения рейтинга вашего сайта на этом этапе - получите больше ссылок на свой контент (предпочтительно, сотрудничая с существующим сайтом, который предлагает контент, ориентированный на регионы, для ссылки на ваш контент, разделенный по регионам, например), привлеките больше людей, просматривающих ваш сайт (у некоторых будет установлена панель инструментов Google таким образом, их трафик может способствовать открытию страниц), и, если возможно, о вашем бизнесе рассказывают в новостях или в сообществах людей, которым это необходимо (если вы планируете взимать плату за определенные услуги, рассмотрите возможность рекламы бесплатного пробного периода для привлечения интереса).
Я знаю два возможных варианта, которые могут оказать существенную помощь.
Один: Небольшой трюк, который я попробовал с веб-сайтом с тремя миллионами страниц, который работал на удивление хорошо, был тем, что мой коллега придумал цикл обхода. Возможно, вам придется немного подправить идею, чтобы она соответствовала вашему сайту.
В основном мы назначили день, когда мы не думали, что получим много трафика (рождество), и мы буквально скопировали список каждой отдельной ссылки на нашем сайте и вставили каждую один в php-файл, который вызывался на каждой отдельной веб-странице. (php-файл боковой панели)
Затем мы перешли в консоль поиска google (ранее инструменты веб-мастеров Google) и попросили google выбрать URL-адрес и просмотреть каждую ссылку на этой странице URL-адресов.
Поскольку у вас так много ссылок, а страницы, на которые они ссылаются, также содержат большое количество ссылок, Google входит в небольшой цикл и обходит сайт гораздо быстрее. Сначала я был настроен скептически, но это сработало как очарование.
Прежде чем сделать это, вы должны убедиться, что у вас чрезвычайно эффективная настройка базы данных и очень мощный сервер, иначе это может либо перегрузить сервер, либо повредить вашему SEO из-за медленной загрузки страницы.
Если это не вариант для вас, вы всегда можете заглянуть в API облачной консоли Google. У них есть API консоли поиска, поэтому вы можете написать сценарий, чтобы либо добавить каждую веб-страницу в качестве собственного экземпляра веб-сайта в консоли поиска, либо чтобы Google извлекал каждую из ваши URL-адреса.
API-интерфейсы могут очень быстро усложняться, но при правильном использовании являются потрясающим инструментом.
Удачи!
У меня был опыт работы именно с такого рода сайтами. Я запустил каталог статей много лет назад, и процент проиндексированных страниц и, что более важно, фактическая производительность в значительной степени напрямую зависели от количества ссылающихся доменов, т. Е. От количества уникальных веб-сайтов, на которые ссылаются. Большой сайт с миллионами страниц нуждается в нескольких 1000 разумных доменных ссылках, чтобы работать самостоятельно.
Это точно не произойдет в одночасье, но вы создаете 5-10 хороших ссылок в день в когда это начнет происходить, тогда вы сможете получать доход и использовать его для оплаты профессиональной SEO-компании, которая будет создавать для вас ссылки.
В настоящее время я создаю аналогичный информационно насыщенный сайт, его первые дни, но у меня такая же проблема с ним - около 4 миллионов страниц контента со скоростью сканирования 700-1000 страниц в день.
Играть в систему никогда не будет хорошей идеей, если вы ведете законный бизнес, который дорожит своей репутацией в Интернете. Кроме того, если ваш сайт действительно представляет ценность, то чем дольше он существует (я полагаю, вы занимаетесь какой-то формой маркетинга?) чем больше обратных ссылок он будет накапливаться, тем выше будет ваш PR и скорость сканирования.
Кроме того, если у вас на сайте хорошая структура ссылок (все ваши страницы доступны для просмотра за разумное количество кликов/ссылок), вам нужно только отправьте основные индексы через карту сайта. Как только эти страницы будут проиндексированы Google, они будут просмотрены Google, и Google самостоятельно проиндексирует остальные страницы.
Одна вещь, которую я замечаю в инструментах Google для веб-мастеров, заключается в том, что они начинаются с максимальной скорости обхода около двух запросов в секунду. Затем примерно через неделю или около того, если они обнаружат, что веб-сайт часто посещается, они позволят вам увеличить ваш лимит.
Я совместно управляю веб-сайтом, на котором размещено более 500 000 оригинальных изображений, и иногда мой максимальный лимит составляет 10 запросов в секунду, потому что я получаю от 700 до 1000 просмотров в день, если не больше.
Итак, что вы могли бы нужно каждую неделю проверять с помощью инструментов для веб-мастеров, можете ли вы увеличить лимит обхода. Когда вы измените лимит обхода, Google вернет его к своим предпочтительным настройкам по истечении определенного дня (который вам покажет интерфейс). Затем в тот же день снова увеличьте лимит.