Главная » Статьи » Почему Google индексирует страницы, указанные в файле robots.txt

Почему Google индексирует страницы, указанные в файле robots.txt

Почему Google индексирует страницы, указанные в файле robots.txt

От автора: Google может проиндексировать веб-страницу, даже если она заблокирована в файле robots.txt. Об этом рассказал представитель поисковой системы Джон Мюллер.

Инженер Google, отвечая на вопрос, заданный вебмастером в Twitter, разъяснил, что поисковый робот умеет индексировать даже те страницы, которые заблокированы в robots.txt. При этом Googlebot четко придерживается установленных в данном файле ограничений и не сканирует содержимое заблокированных разделов.

Первоначально вебмастер попросил пояснить Мюллера, почему в поисковой выдаче отображаются адреса и заголовки страниц ресурса, сканирование которого полностью запрещено в robots.txt. На что Джон ответил, что URL могут индексироваться даже в том случае, если они внесены в этот файл. Для представления заблокированных страниц поисковик использует ссылки. Из них Google формирует заголовки для выдачи.

Другой эксперт отрасли Барри Адамс, участвующий в обсуждении, добавил, что для запрета индексации следует использовать другие средства. Например, заголовки X-Robots-Tag.

Источник: https://www.searchengines.ru