Должен ли я запретить поисковым системам индексировать страницы тегов/категорий?

На моем сайте в настоящее время у меня нет специальных правил для поисковых систем. Это блог, статически созданный с помощью программы на Python. Когда я ищу некоторые из своих статей в Google, в результаты обычно включается страница с тегом или категорией. Иногда это даже опережает саму статью. Очевидно, что, поскольку на этих ссылках не всегда будет статья, это не те результаты, на которые я хочу, чтобы люди нажимали.

Итак, я подумываю о том, чтобы установить noindex на эти страницы. Есть ли какой-либо возможный недостаток в этом? Возможно ли это сделать с помощью robots.txt, или мне нужно добавить его во все соответствующие шаблоны? Все, что я могу найти для robots.txt есть способы остановить поисковую систему, сканирующую эти страницы, чего я не хочу - хотя я не хочу, чтобы они индексировались, это все еще единственный верный способ найти все мои записи в блоге.