Должен ли я блокировать поисковые системы с помощью robots.txt в моем приложении на Facebook?


На моей домашней странице есть несколько поддоменов, где я могу воспользоваться robots.txt блокировать поисковые системы для индексирования их содержимого, например, моих изображений и поддоменов загрузок, поскольку я не хочу, чтобы прямые URL-адреса для этого контента индексировались.

Я делаю это так:

User-agent: *
Disallow: /

Теперь у меня есть новый поддомен "facebook", который я буду использовать для размещения приложений, разработанных для Facebook. Мой вопрос в том, должен ли я использовать приведенный выше код, чтобы также заблокировать этот поддомен?

Приложение сам по себе не должен быть доступен и использоваться через прямой URL-адрес (но он все еще работает, я полагаю, хотя и не тестировал его), его следует использовать через URL-адрес canvas, что-то вроде apps.facebook.com/app_name. Я не возражаю против того, чтобы поисковые системы индексировали этот URL-адрес, он подходит для индексации. Но я не думаю, что для них имеет смысл индексировать что-то вроде'facebook.mydomain.com/apps/app_name ".

Должен ли я блокировать поисковые системы с помощью robots.txt для приложений Facebook или мне следует игнорировать это? Любая веская причина для разрешить поисковым системам сканировать его?

Author: rfgamaral, 2010-11-10

1 answers

Заблокируйте его. Если у них нет причин находиться там, напрямую обращаясь к этому URL-адресу, вы должны сделать все возможное, чтобы пользователи не натыкались на него. Вы никогда не знаете, есть ли уязвимость или какая-то другая проблема, связанная с прямым доступом к этому контенту, поэтому, если кому-то не нужно получать к нему доступ таким образом, зачем вообще оставлять возможность для проблем, связанных с этим? Если этот контент предназначен для доступа через Facebook, убедитесь, что это единственный способ получить там.

 2
Author: John Conde, 2010-11-10 16:28:57