Google пояснил, почему не стоит индексировать файлы robot.txt и Sitemap

Google пояснил, почему не стоит индексировать файлы robot.txt и Sitemap

От автора: стало известно, что файл Sitemap может индексироваться в Google по обычным пользовательским запросам. Но это является признаком наличия у сайта проблем с SEO.

В ходе дискуссии в Twitter выяснилось, что robots.txt может ранжироваться в Google. В своем твите Гэри Илш отметил, что поисковик воспринимает данный файл просто как URL, по которому находится доступный для индексации контент.

Затем к обсуждению подключился еще один представитель поисковой системы. Джон Мюллер подчеркнул, что для запрета индексации файлов robots.txt и Sitemap следует использовать HTTP-заголовок X-Robots-Tag. А также директиву Disallow.

Также Мюллер добавил, что индексация этих файлов по обычным запросам (без оператора :site) говорит о наличии у площадки больших проблем с SEO-оптимизацией.

Файл карты сайта не должен индексироваться и участвовать в ранжировании. Так как Sitemap предназначен, прежде всего, для использования веб-приложениями.

Источник: https://www.seroundtable.com