Где находится robots.txt сохранено для многоузловой установки WordPress?
Инструменты веб-мастера Google могут видеть это, но я не могу его найти. Есть идеи о том, как он создается или где находится файловая структура? Я не вижу файла в своем корневом каталоге. Мой веб-сайт находится по адресу http://mikewills.me и robots.txt URL-адрес файла http://mikewills.me/robots.txt.
В конце концов, Google не индексирует мой сайт, и я пытаюсь понять, как отредактировать robots.txt так что индексация разрешена. Я изменил параметр конфиденциальности, чтобы разрешить индексирование, но это не обновило robots.txt .
2 answers
Он динамически генерируется функцией do_robots(), который имеет как действие (do_robotstxt), так и фильтр (robots_txt). Если вы создадите файл robots.txt в корневом каталоге WordPress, он (вероятно) будет отправлен по запросу /robots.txt, в противном случае обработка вернется на WordPress.
Ваш текущий файл выглядит следующим образом:
User-agent: *
Disallow:
Sitemap: http://mikewills.me/sitemaps/mikewills-me.xml.gz
Первые два параметра подходят для индексируемого блога. Так что, возможно, на данный момент вы просто ждете Google. Может быть, вам нужно запросить пересмотр вашего сайта.
Robots.txt создается динамически. Нет никакого robots.txt файл. Установите robot.txt плагин решит вашу проблему. Надеюсь, это поможет