Бот Bing следит за пользователем на страницах, защищенных паролем?

Я действительно испытал это в какой-то момент на своем сайте.

Что вы можете сделать для решения этой проблемы, так это сделать ссылки, к которым роботы поисковых систем не должны обращаться, ссылками на основе СООБЩЕНИЙ.

Вот как вы делаете это идеально с хорошей совместимостью практически для каждого изобретенного браузера:

Создайте форму с помощью метода post. Например:

  <form action="http://example.com/robots-cant-access-this.asp" method="POST">
  <input type="hidden" name="parametertoscript" value="valueforscriptparameter">
  <input type="hidden" name="secondparametertoscript" value="valueforsecondscriptparameter">
  <input type="hidden" name="nthparametertoscript" value="valuefornthscriptparameter">
  <input type="submit" value="button label to show to public">
  </form>

Затем в вашем asp-коде вам нужно проверить, что метод запроса - POST, и если это не так, то не делайте этого продолжайте процесс создания корзины. На самом деле, верните 410, чтобы роботы не продолжали пытаться получить доступ к URL-адресам, к которым вы не хотите, чтобы они обращались.

Я недостаточно хорошо владею ASP, но вот псевдокод, с которого вы начнете:

Get value of request method
If Request method equals post then
     process requested page to client
else
     issue HTTP error 410 GONE
     print error
end if
exit

Вы случайно не отправляете некоторые из этих URL-адресов по почте? В этом случае заголовок nosniff может помочь предотвратить обнюхивание страницы почтовыми клиентами.

Hotmail будет использовать Bing-бота, Gmail будет использовать поисковый робот Google и так далее.

Вот фрагмент nosniff для htccess:

# Add headers to all responses.
<IfModule mod_headers.c>
  # Disable content sniffing, since it's an attack vector.
  Header always set X-Content-Type-Options nosniff
</IfModule>