От автора: повторная блокировка и разблокировка страниц для индексирования не всегда оправдана. Особенно если это делается для того, чтобы GoogleBot увидел при сканировании noindex.
Сотрудник Гэри Илш назвал «глупой» одну из практик, которую часто используют вебмастера. Речь идет о ситуации, когда страницы сайта сначала блокируются для сканирования и индексация с помощью директив файла robot.txt. После чего на время эта блокировка снимается только для того, чтобы поисковый робот смог просканировать страницы и учесть атрибуты noindex.
Илш отметил, что данный механизм является тупиковым. Поскольку после перечисленных выше действий вебмастер получает тот же результат, что и вначале: заблокированные для индексирования и проходов GoogleBot страницы сайта.
Источник: www.seroundtable.com