Отображение контента для взрослых ботам, но не вышедшим из системы пользователям


Этот вопрос похож на Проблему с возможностью обхода веб-сайтов для взрослых , но не совсем.

На сайте электронной коммерции, на котором я работаю, есть контент для взрослых, но он не является нашим основным направлением (сотни тысяч "страниц" только для взрослых против миллионов обычных). Для вышедших из системы пользователей мы полностью запрещаем пользователям заходить на страницу. Когда пользователь входит в систему, он должен вручную задать предпочтения, которые он хочет разрешить доступ к контенту для взрослых.

Для SEO цели мы хотим, чтобы контент для взрослых был доступен для обхода без непреднамеренного предоставления доступа вышедшим из системы пользователям. Каков наилучший способ сделать это? Мы беспокоимся не только о Google, но и о любом боте, который может сканировать сайт.

У нас были обсуждения о том, чтобы разрешить пользователям, вышедшим из системы, посещать страницу, но давать непрозрачное наложение, однако, если изображение все еще загружается, пользователи могут потенциально попасть в неприятности со своим работодателем или правительством. Если изображение не загружается, а извлекается в запросе ajax изображение может не отображаться в результатах поисковой системы. Google действительно предоставляет безопасный доступ, но это не удовлетворяет необходимости пропускать и других ботов.

Author: Community, 2013-11-20

1 answers

Для этого вы потенциально можете реализовать политику бесплатного первого клика Google (FCF).

FCF предназначен для предоставления поисковым ботам и посетителям поиска доступа к контенту, который обычно доступен только зарегистрированным пользователям. Для его реализации вам потребуется:

  • Разрешить поисковым ботам (на основе агента пользователя) сканировать контент без необходимости входа в систему.
  • Разрешить посетителям из поиска (на основе ссылки) просматривать контент без необходимости войдите в систему.

Если бы вы это реализовали, вам пришлось бы разрешить некоторым пользователям, которые специально не выбрали просмотр контента для взрослых, просматривать эту страницу. С другой стороны, если бы этот пользователь искал контент, это можно было бы считать достаточным для вашего согласия.

 3
Author: Stephen Ostermiller, 2013-11-27 11:20:41