От автора: Джон Мюллер объяснил, как большие файлы robots.txt со множеством директив влияют на SEO сайта.
Во время Search Central SEO представитель Мюллер объяснил, что большие по объему файлы robots.txt не снижают скорость индексирования сайта. А также не влияют на его позиции в выдаче.
Но при этом он отметил, что такие огромные файлы (более 1,5 тыс. строк), особенно если они содержат множество директив, очень сложно обслуживать. Поэтому Джон посоветовал вебмастерам методом проб и ошибок уменьшить размер объемных robots.txt. И для этого можно использовать специализированный парсер, разработанный командой Google. Он доступен на GitHub.
Источник: www.searchenginejournal.com
Читайте нас в Telegram, VK, Яндекс.Дзен