От автора: Google готовит к запуску новую версию инструмента для анализа файлов robots.txt. Об этом рассказал представитель поисковика Гэри Илш.
Один из зарубежных SEO-экспертов указал на ошибку, которую возвращает анализатор robots.txt, доступный в старом варианте Search Console. В своем твите вебмастер рассказал, что после проверки инструмент выдает отчет о полной блокировке сайта с помощью Disallow. Хотя при этом GoogleBot все равно осуществляет проход всех страниц интернет-ресурса.
В своем ответе Гэри Илш отметил, что, скорее всего, ошибка кроется в работе GoogleBot или в самом инструменте проверки файла robots.txt. Но сейчас команда Search Console трудится над разработкой новой версии анализатора. При этом точных сроков его запуска Илш не назвал.
Источник: www.seroundtable.com