Bloquear un LLM en nuestra web

Últimamente estoy viendo muchos artículos sobre como bloquear Inteligencias artificiales en nuestro robos.txt

¿Por qué deberíamos bloquear el scrapeo de contenido a inteligencias artificiales y no a los motores de búsqueda tradicionales? Lo desarrollo.

Si tu web es informacional, es cierto que no te interesa que un LLM (Modelo de lenguaje, las IAs como ChatGPT) ponga tu contenido, del mismo modo que tampoco es interesante que tu contenido aparezca completo en un rich snippet haciendo que el usuario entre en tu web.

No obstante, si vendes productos o servicios, ¿No sería algo "estúpido" ocultar la información disponible a estos LLM? Al fin y al cabo nadie va a hablar mejor de tus productos o servicios que tu propia web. Si estos LLM tienen acceso a esta información, para ciertas consultas es posible que saquen aspectos positivos de tus productos o servicios cuya información esté en tu web.

Al fin y al cabo, aunque los SEOs vayamos de la mano de Google, creo que nuestro propósito no debe ser aparecer en Google en si ni defenderlo a capa y espada, sino adaptarnos a lo que use el usuario para consultar información que le puede acabar llevando a nuestra web. Y eso a día de hoy lleva al LLM.

Por otro lado, me consta que no todos los LLM obedecen las directivas del robots.txt. Por lo que en caso de querer bloquearlo, lo haría desde el servidor, ya que decirle un disallow a su User-Agent es posible que no tenga el efecto deseado.

Formulo este planteamiento en el SOH en español: