Инструменты веб-мастеров Google: Отклонено robots.txt
У меня есть веб-сайт: http://46.105.30.3/
И я пытаюсь протестировать его, используя опцию Fetch as Googlebot в инструментах Google для веб-мастеров.
Когда я пытаюсь это сделать, он возвращается Denied by robots.txt.
Мой robots.txt содержит:
User-agent: *
Disallow: /js/
Disallow: /style/
Есть идеи, почему роботу Googlebot отказано в доступе?
2
1 answers
Ваш robots.txt выглядит хорошо. У вас был старый, который блокировал роботов? Вы недавно их разблокировали? Возможно, у GWMT есть старый в кэше, и вам следует немного подождать, прежде чем он обновится. Войдите в Конфигурацию сайта GWMT goto ->Доступ к обходчику. Вы можете видеть свой robots.txt там и на последнем свидании гуглобот схватит его. Вы также можете проверить свой файл роботов там.
4
Author: Binarysurf, 2011-04-17 03:11:52