От автора: Google может проиндексировать веб-страницу, даже если она заблокирована в файле robots.txt. Об этом рассказал представитель поисковой системы Джон Мюллер.
Инженер Google, отвечая на вопрос, заданный вебмастером в Twitter, разъяснил, что поисковый робот умеет индексировать даже те страницы, которые заблокированы в robots.txt. При этом Googlebot четко придерживается установленных в данном файле ограничений и не сканирует содержимое заблокированных разделов.
Первоначально вебмастер попросил пояснить Мюллера, почему в поисковой выдаче отображаются адреса и заголовки страниц ресурса, сканирование которого полностью запрещено в robots.txt. На что Джон ответил, что URL могут индексироваться даже в том случае, если они внесены в этот файл. Для представления заблокированных страниц поисковик использует ссылки. Из них Google формирует заголовки для выдачи.
Другой эксперт отрасли Барри Адамс, участвующий в обсуждении, добавил, что для запрета индексации следует использовать другие средства. Например, заголовки X-Robots-Tag.
Источник: https://www.searchengines.ru
