От автора: с начала сентября Google перестал «понимать» директивы noindex, указанные в файле robots.txt. Поисковик напомнил вебмастерам об альтернативах, которые можно использовать вместо отключенной инструкции.
С сентября Googlebot перестал учитывать директивы noindex, которые прописаны в файле robot.txt. О прекращении поддержки данной инструкции поисковик предупреждал еще в июле текущего года.
В конце августа команда Google Webmasters в своем Twitter напомнила об альтернативных вариантах запрета индексации веб-страниц, которые можно использовать вместо отключенной инструкции в robot.txt. Вот их перечень:
Noindex, указанная в метатегах robots.
Коды 410 и 404, получаемые от серверов.
Средство удаления URL из индекса Google, доступное в Search Console.
Директива Disalow, прописанная в robot.txt.
Защита страницы с помощью логина и пароля вызывает удаление веб-страницы из индекса. Но только в том случае, если на ней не используется микроразметка для платного доступа к контенту.
Источник: https://twitter.com