Нужно ли разрешать ботам /*, если я запрещаю /конкретный каталог?

Question

Нужно ли разрешать ботам /*, если я запрещаю /конкретный каталог?

Если я хочу, чтобы все боты не сканировали /specific-directory, но я хочу, чтобы они работали "как обычно" (таким образом: сканировали) все остальные каталоги моего сайта, это robots.txt вход адекватный?

# All Bots
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

# SemRush
User-agent: SemrushBot
Disallow: /

Или мне нужно специально разрешить /allowed-directories, поскольку я запрещаю доступ к некоторым каталогам ?

1

robots.txt web-crawlers

Author: Beda Schmid, 2021-06-06

Source

1 answers

score 2 · Accepted Answer

Достаточно запретить определенный каталог. Нет необходимости явно разрешать каталог, если только он не является подкаталогом запрещенного каталога.

Ваш robots.txt выглядит нормально.