От автора: Google не использует в качестве пользовательских агентов решения, созданные с помощью фреймворка Apache Nutch. Это подтвердил Джон Мюллер.
Зарубежный SEO-специалист Бритни Мюллер заметила в журнале сканирования своего сайта нового агента пользовательского агента (Googlebot/Nutch-1.7). После чего спросила у Джона Мюллера в Twitter, принадлежит ли он Google?
Представитель поисковика ответил, что GoogleBot не применяет для сканирования решения, созданные с помощью модульного фреймворка. Поэтому указанный Бритни бот является фейковым и его нужно заблокировать.
Apache Nutch – специализированный фреймворк, написанный на Java. Используется для построения поисковых систем.
Источник: https://www.seroundtable.com