GOOGLEOTHER UN NUEVO USER AGENT

Google ha añadido a su lista otro user-agent. GoogleOther (aún no aparece en la documentación en Español).

Este nuevo rastreador, a diferencia de: Google publisher Center, Feedfetcher, Google Read Aloud, Google Favicon o Google Site Verifier si respeta el robots.txt.
Efectivamente, no se pueden esconder ni los feeds, ni el favicon y ocultar la verificación de Google por medio del robots.txt. Para saber como hacerlo, podéis ver el artículo de mi blog "bloquear el acceso a User-agents". Y también podéis hacerlo bloqueando por contraseña desde el servidor.

Este rastreador, por si alguno tiene curiosidad, se ha creado para permitirle a Google recopilar datos de sitios webs accesibles para su propio uso, y puede ser utilizado para distintos propósitos, como recopilar datos o investigación.

Bibliografía

• Documentación oficial
• Noticia oficial