От автора: Google обновил техническую документацию, в которой описываются поддерживаемые поисковиком спецификации robot.txt.
В начале апреля Google внес изменения в документ, описывающий спецификации robot.txt и методы обработки этих файлов. Последний раз документация обновлялась два года назад.
В новой версии материала приводится больше примеров реализации файлов robot.txt. А также расширено описание их спецификаций и конфигураций. Над обновлением работало несколько сотрудников Google. В том числе Лизи Харви и Гэри Илш.
Первым обновление документации заметил один из зарубежных вебмастеров и сообщил об этом в Twitter. Англоязычная версия материала была отредактирована 7 апреля и переведена на русский язык уже через неделю.
Источник: www.seroundtable.com
Читайте нас в Telegram, VK, Яндекс.Дзен