Главная » Статьи » Инструмент «Параметры URL» не является полноценной заменой robots.txt

Инструмент «Параметры URL» не является полноценной заменой robots.txt

Инструмент «Параметры URL» не является полноценной заменой robots.txt

От автора: инструмент «Параметры URL», входящий в состав Search Console, не способен заблокировать сканирование той или иной страницы сайта. Для этого следует использовать файл robots.txt.

Один из вебмастеров спросил у Джона Мюллера в Twitter, учитывает ли Google запрет на сканирование ссылок, которые устанавливаются с помощью «Параметры URL». Данный инструмент доступен в старой версии поисковой консоли Google. Он служит для указания GoogleBot адресов с определенными параметрами, которые не нужно сканировать.

Джон Мюллер отметил, что поисковый робот учитывает при анализе URL ограничения, заданные через этот инструмент. При это он подчеркнул, что «Параметры URL» не являются полноценным средством для запрета сканирования веб-страниц сайта. Для этого следует использовать файл robots.txt.

Источник: https://www.seroundtable.com