robots.txt проигнорированный
Я работаю на веб-сайте joomla, и robots.txt издевается надо мной... у меня есть это в domain.com/website/robots.txt и я просто хочу запретить пользователям просматривать каталоги.
По умолчанию было запрещено: /изображения/ и правило работает, не может получить доступ к папке. Я попытался добавить Запретить:/изображения/миниатюры, но это не сработало. Я прокомментировал Запрет: /изображения/ просто для проверки. Папка ПО-ПРЕЖНЕМУ недоступна. Нет другого примера robots.txt на моем домен.
Почему мои изменения включены robots.txt быть проигнорированным? Есть ли какой-нибудь другой файл, который мог бы его переопределить?
2 answers
Файл robots.txt будет работать только в том случае, если он находится в корневой папке вашего веб-сайта, а не в какой-либо подпапке.
Сказав, что robots.txt предназначен только для роботов поисковых систем и не влияет на предотвращение просмотра папок людьми. Если люди могут сделать это на вашем сервере, то он плохо настроен и должен быть настроен на запрет индексов. Это можно сделать либо в файле.htaccess, либо предпочтительно в файле apache httpd.conf
Robots.txt не используется для предотвращения просмотра каталогов пользователями. Просмотр каталогов обрабатывается настройками веб-сервера.
Все robots.txt делает - это просит поисковые системы не индексировать содержимое в указанных вами каталогах.