От автора: Джон Мюллер напомнил, что для удаления веб-страниц из поискового индекса Googlе следует использовать тег noundex, а не директивы файла robots.txt.
Отвечая на вопросы вебмастеров, в своем твите Джон Мюллер напомнил, как нужно правильно осуществлять деиндексацию страниц сайта. Он отметил, что для удаления веб-страниц из индекса Google лучше применять тег noindex вместо директив, заданных в файле robots.txt.
Мюллер также подчеркнул, что не стоит деиндексировать те страницы, позиции которых в выдаче можно улучшить путем доработки их содержимого и SEO-показателей. А также те веб-страницы, которые ранжируются в Google по основным запросам.
Источник: www.seroundtable.com