robots.txt и путь к веб-сайту
Мы запускаем magento, но нам нужен код просмотра магазина в нашем URL-адресе, т.Е.:
Www.mydomain.com/shop /если магазин - это наш код просмотра магазина.
Нужно ли мне отражать это в нашем robots.txt .
Например, на данный момент у меня есть:
Disallow: /review/
Disallow: /sendfriend/
Disallow: /tag/
Disallow: /wishlist/
И т. Д. Но я продолжаю получать ботов, сканирующих наш список пожеланий. Смотрите приведенный ниже пример из наших журналов.
"ПОЛУЧИТЬ/магазин/список пожеланий/индекс/добавить/продукт/2765/form_key/pss5nz8xuwuvfn15/HTTP/1.1"302-"-""Mozilla/5.0 (совместимый; bingbot/2.0; +http://www.bing.com/bingbot.htm)"
Это просто случай добавления "магазина" ко всем нашим правилам запрета? Как мне остановить ботов, сканирующих эти страницы?
1 answers
Абсолютно!
Вы должны просто добавить /магазин/ перед всеми вашими правилами запрета:
Disallow: /shop/review/
Disallow: /shop/sendfriend/
Disallow: /shop/tag/
Disallow: /shop/wishlist/