robots.txt

По какой-то причине я хочу служить своему robots.txt с помощью PHP-скрипта. Я настроил apache так, чтобы robots.txt зап ... анного, слегка вводящего в заблуждение неправильное представление:). Спасибо всем за помощь и ваше время! Спасибо JP

Я хочу создать частный URL-адрес как http://domain.com/content.php?secret_token=XXXXX Затем страницу могут видеть ... а, защищенная паролем: Проблема, как указано выше. Использование Robots.txt : Многие боты поисковых систем не уважают это.

Я создаю приложение, которое время от времени сканирует сайт, и я хотел бы, чтобы оно подчинялось/уважало robots.txt просматриваемого сайта. Как мне начать с этого? Есть ли какие-нибудь идеи, как это сделать? Заранее благодарю.

Если у меня есть эти строки в robots.txt : Disallow /folder/ Allow /folder/filename.php Будет ли filename.php тогда ... есь произойдет, например?: Allow / Disallow / Я в основном имею в виду Google здесь как поисковую систему. Спасибо

Я использовал это для записи массива в текстовый файл: $fp = fopen('file.txt', 'w'); fwrite($fp, print_r($newStrings, ... чок в этом, и в настоящее время у меня есть крайний срок, чтобы получить что-то связанное с этим, пожалуйста, помогите.

Вот содержание моего robots.txt файл: User-agent: * Disallow: /images/ Disallow: /upload/ Disallow: /admin/ Как вы ... Google. Кто-нибудь может объяснить мне, что я здесь делаю не так, и почему Google проиндексировал мои папки? Спасибо!

Я ищу лучшее решение о том, как я могу убедиться, что я делаю это правильно: На моем веб-сайте есть календарь, в кото ... сохранить текущую Robots.txt на месте, чтобы запретить обход моих каталогов для файлов *.ics и сохранить файлы скрытыми.

Добрый день, надеюсь, вы сможете мне помочь, у меня есть вопрос: У меня есть сервер с godaddy (делюкс-обмен), на это ... быть удален? в /, /public_html, /web2? Я мог бы помочь с содержимым файла: robot.txt? Заранее большое вам спасибо.

Я запускаю сайт, который использует qdbs 1.10, чтобы предлагать базу данных котировок на основе PHP с голосами. Голосов ... лосования это то, что я хотел бы сделать в любом случае, поэтому, конечно, решение на основе AJAX тоже было бы здорово.

Я создал php-страницу, доступную только с помощью токена/пропуска, полученного через $_GET Поэтому, если вы перейдете ... : <META NAME="ROBOTS" CONTENT="NOINDEX"> Даже если я наберу в Google: Site:fakepage11.com / Спасибо вам!

По умолчанию всякий раз, когда вы отключаете индексацию через настройки администратора [x] Запрети ... x,nofollow. Я мог бы повторить непосредственно в wp_head, но это не учитывает такие страницы, как wp-login и подобные.

У меня есть подпапка для установки WP. Он обслуживает несколько доменов, которые связаны с одной и той ... .txt динамически генерируемый или имеющий возможность измените его содержимое с помощью крючков из темы functions.php ?

Мне нужна помощь с robots.txt . В разделе Настройки конфиденциальности я выбрал "Я хотел бы, чтобы мо ... и WordPress robots.txt исключить файлы, такие как wp-admin, которые не должны индексироваться? Спасибо вам! -Лаксмиди

Кто-нибудь знает, как у меня может быть уникальный robots.txt файл для каждого домена, обслуживаемого моей wp-многоузловой установкой? Я провел поиск по плагинам, но не смог найти ничего подходящего.

Я удаляю robots.txt файл в корневом каталоге моего сервера, но Google не может его удалить. Инструмент веб-мастера для создания robotx.txt файл Как я могу удалить или отключить.

У меня возникли проблемы с несколькими файлами изображений, которые я хотел бы заблокировать для поиска ... е domain.eu/robots.txt отображает последнюю версию. Есть ли какая-то магия Google или WordPress, которой мне не хватает?

Для чего "лучшая" настройка robots.txt? Я использую следующую структуру постоянных ссылок /%category%/% ... к дубликатам в поиске провайдеры, такие как Google. Как мне обойти это? Не могли бы вы изменить здесь что-нибудь еще?

Я заметил, что когда я делаю запрос на свою страницу robots.txt, я получаю его с добавленной к нему стр ... ерил файл, и в нем нет этой строки, так почему же она появляется? Может быть, это странное поведение некоторых плагинов?

Недавно я заметил, что таблица core_session растет очень быстро (+400 МБ), я совершенно уверен, что это ... ы: Нормально ли, что эти боты делают 100/200 доступов/сеансов каждый? Как я могу ограничить связанную проблему сеанса?

Мой магазин Magento работает на моем сервере около 10 дней. Веб-сайт еще не совсем готов и займет еще н ... овать некоторые страницы. Спасибо за любую помощь, которую вы можешь дать мне, я все еще пытаюсь разобраться с этим.