От автора: Google выложил в открытый доступ исходники анализатора файлов robots.txt. Это второй шаг компании по переводу REP в статус официального международного стандарта.
Поисковик опубликовал на GitHub программные исходники парсера файлов robots.txt. В их состав входят библиотеки анализатора, написанные на C++. Они используются для парсинга и идентификации правил, указанных в robots.txt.
В посте, размещенном в Webmaster Central Blog, отмечается, что основной код библиотек парсера был написан больше двадцати лет назад. Но остальная часть исходников неоднократно модифицировалась. Все эти изменения также были добавлены в версию парсера, которую Google предоставил IETF для присвоения ему статуса интернет-стандарта.
В исходниках на GitHub также имеется специальный инструмент для тестирования. С его помощью веб-разработчики могут поэкспериментировать с различными настройками парсера.
Источник: https://webmasters.googleblog.com