От автора: Google определяет релевантность веб-страниц, заблокированных для сканирования в robots.txt, опираясь на результаты анализа источников, которые ссылаются на публикацию.
Отвечая на вопросы вебмастеров, Джон Мюллер рассказал, как Google оценивает релевантность контента веб-страниц, сканирование которых запрещено в robots.txt.
Ранее Джон упоминал, что Googlebot может индексировать подобные страницы только в том случае, если на них ссылаются другие публикации. Но как поисковик может оценивать релевантность заблокированных страниц запросу, введенному пользователю?
Мюллер отметил, что контент закрытых в robots.txt публикаций не доступен для сканирования. Поэтому чтобы определить релевантность такой веб-страницы, Googlebot опирается на результаты анализа доноров, которые ссылаются на нее.
Но заблокированный в robots.txt контент крайне редко попадают в поисковую выдачу. При ее формировании Google отдает предпочтение открытым для индексирования источникам.
Источник: https://www.searchenginejournal.com