Пули Nextjs индексируются в консоли поиска

Question

Пули Nextjs индексируются в консоли поиска

Я создаю веб-приложение с использованием Nextjs. Поскольку некоторые части приложения являются рендерингом на стороне сервера, у меня есть две карты сайта. Один генерируется Next, а другой генерируется динамически.

Все страницы успешно добавлены в консоль поиска. Однако у меня также есть некоторые URL-адреса, включая скобки, такие как

https://mywebsite.com/[mySlug]
https://mywebsite.com/[mySlug]/aaa
https://mywebsite.com/[myOtherSlug]/bbb

Эти URL-адреса отсутствуют в картах сайтов. Есть ли у вас представление о том, почему эти URL-адреса присутствуют в результатах консоли поиска?

Чтобы быть более ясным, у меня есть URL-адреса, такие как

https://mywebsite.com/my_slug_1
https://mywebsite.com/my_slug_1/bbbb

И они проиндексированы правильно, но тот факт, что https://mywebsite.com/[mySlug] проиндексирован, неверен, так как скобка - это просто способ сообщить, что [mySlug] может быть любой возможной строкой

Спасибо!

2

seo sitemap next.js google-search-console url-slug

Author: BghinC, 2021-06-21

Source

1 answers

score 1 · Accepted Answer

Google не полагается только на XML-карты сайтов, чтобы знать, какие страницы у вас есть на вашем сайте и какие URL-адреса он должен индексировать. Смотрите мою обличительную речь на эту тему: Миф о SEO: Google будет индексировать только страницы, перечисленные в вашей XML-карте сайта.

Google будет индексировать URL-адреса, которых нет в вашей карте сайта, если:

На этих URL-адресах были ссылки либо с вашего собственного сайта, либо с другого сайта. Не имеет значения, существуют ли ссылки по-прежнему, как только Googlebot находит страницу по ссылке, к которой он стремится запомни это навсегда.
URL-адреса возвращают статус 200 ОК с уникальным контентом.

Если URL-адреса дублируют другой контент с вашего сайта, для которого предпочтительный URL-адрес находится в вашей карте сайта, Google будет обычно (но не всегда) индексировать URL-адрес с вашей карты сайта, а не URL-адрес, который он находит только по ссылкам.

Лучший способ справиться с URL-адресами, которые вы не хотите индексировать, чтобы выполнить одно из следующих действий:

Перенаправьте их на другой URL-адрес, который вы хотите, чтобы при индексировании вместо этого был получен другой URL-адрес с тем же индексируемым содержимым.
Поместите <meta name="robots" content="noindex"> пометьте на месте, чтобы поисковые системы не индексировали их.
Защитите их паролем, чтобы робот Googlebot не мог видеть содержимое при обходе.
Запретите их в robots.txt, чтобы робот Googlebot даже не пытался их сканировать. (Хотя Google иногда индексирует страницы, которые он не может сканировать, поэтому этот метод лучше всего подходит для страниц, которые могут отображаться в результатах поиска, но которые вы не используете хотите, чтобы ползуны попадали.)
Верните статус "410 исчезло", чтобы отметить их как удаленные.

Даже если URL-адреса не проиндексированы, вы можете увидеть их в различных отчетах консоли поисковой системы. Консоль поисковой системы сообщает обо всех URL-адресах с вашего сайта, которые просматривает Googlebot, а не только о тех, которые указаны в вашей карте сайта или которые Google выбирает для индексации.