Если я не хочу устанавливать какое-либо особое поведение, нормально ли, если я не буду утруждать себя robots.txt досье?
Если я не хочу устанавливать какое-либо особое поведение, нормально ли, если я не буду утруждать себя robots.txt файл?
Или отсутствие такового может быть вредным?
6 answers
Отсутствие robots.txt файл не будет вредным. Из robotstxt.org веб-сайт:
Разрешить всем роботам полный доступ
Агент пользователя: *
Запретить:(или просто создайте пустой "/robots.txt "файл, или не используйте его вообще)
Однако, даже если вы ничего не указываете в своем robots.txt файл, это хороший способ информировать поисковые системы о местоположении вашей XML-карты сайта. Вы можете сделать это с помощью добавление строки в верхней части вашего robots.txt файл, который выглядит примерно так:
Карта сайта: http://www.example.com/sitemap-host1.xml
Вы также должны знать, что отсутствие этого создаст много записей 404 в ваших веб-журналах.
Если у вас нет"robots.txt "в вашем журнале ошибок будет много 404-х в файле, что может быть своего рода раздражением, как если бы у вас не было значка.
Я думаю, что должно быть в порядке, иначе огромные участки сети не будут индексироваться веб-пауками.
Нет robots.txt - это то же самое, что "разрешить индексирование всеми" robots.txt почти по определению.
Отсутствие robots.txt файл оставляет искателю решать, что он может и не может делать. Поскольку требуется всего несколько секунд, чтобы избежать какой-либо двусмысленности, почему бы просто не создать такую, которая позволит всем агентам получить доступ ко всему?
Ну, так как robots.txt содержит адрес вашей карты сайта , ее отсутствие потенциально вредно.
В зависимости от вашего контента не должно быть проблем с отсутствием файла robots, если вы хотите, чтобы каждая страница на вашем сайте индексировалась поисковыми системами.