От автора: представитель Google рассказал, как поисковому роботу блокировать доступ к тестовой версии сайта. Лучше всего для этого подходит аутентификация на стороне сервера.
Общаясь с вебмастерами, Джон Мюллер рассказал, как лучше всего блокировать доступ GoogleBot к тестовой версии сайта. Он отметил, что это можно реализовать несколькими способами. Традиционно для этого используется файл robot. txt, через директивы которого краулеру запрещается сканирование.
Но лучше всего для этого применять аутентификацию на стороне сервера, где размещается тестируемая площадка. Идентификацию можно осуществлять на основе IP-адресов, cookies. А также обычной авторизации.
Также Мюллер отметил, что использование блокировки файла robot.txt не столь эффективно. Поскольку GoogleBot может попадать на тестовый сайт через внешние страницы, ссылающиеся на него.
Источник: https://www.searchengines.ru