OpenAI marca con agua el texto de ChatGPT en la Unión Europea

OpenAI comenzará a incorporar una marca de agua invisible en los textos generados por ChatGPT y Codex en la Unión Europea, según anunció la compañía. La medida busca cumplir con las reglas de transparencia de la Ley de IA de la UE, que entraron en vigor el 2 de agosto y exigen que las empresas de inteligencia artificial identifiquen el contenido generado de una forma que otros sistemas puedan detectar.

La marca se desplegará en las próximas semanas para usuarios de ChatGPT y Codex en todos los planes, pero solo dentro de la UE. Los desarrolladores que usan la API de OpenAI en cualquier parte del mundo pueden activarla para modelos seleccionados desde ahora; viene desactivada por defecto. La empresa aclaró que no la aplicará como opción global en este lanzamiento.

Cómo funciona

No se trata de un símbolo visible. El sistema modifica sutilmente la elección de palabras del modelo y deja un patrón que los lectores no perciben, pero que un detector puede identificar. Como está incorporado en el texto, viaja con él cuando se copia y pega. OpenAI aseguró que la marca no identifica al usuario y que no observó cambios significativos en el rendimiento de sus modelos con la función activada.

Junto con el anuncio, la empresa publicó un informe técnico de su método, llamado textGrain, elaborado con investigadores de la Universidad de Pensilvania y Yale. El documento explica cómo se usa una clave secreta para ordenar las predicciones de la próxima palabra al completar una frase. Al sumar cientos de estas pequeñas intervenciones, el detector puede identificar contenido generado por IA usando solo el texto y la clave.

Límites y antecedentes

Las pruebas de OpenAI indican que la marca puede eliminarse editando el texto. En un ensayo, reemplazar el 10% de las palabras por sinónimos redujo la detección de alrededor del 92% al 66%. La compañía también señaló que los pasajes cortos, las respuestas matemáticas y los textos traducidos son más difíciles de detectar.

"Estas limitaciones contribuyen a nuestra decisión de dar acceso inicial al detector solo a investigadores aprobados y organizaciones expertas, que pueden ayudarnos a evaluar la fiabilidad y los usos responsables", afirmó la empresa.

OpenAI advirtió además que la ausencia de marca "no prueba la autoría humana". El texto puede ser demasiado corto, estar muy editado o provenir de la IA de otra compañía. "Las marcas de agua pueden indicar que un sistema de OpenAI generó o procesó parte de un pasaje, pero no cuánto juicio, edición o creatividad humana intervinieron", sostuvo.

El anuncio llega dos meses después de que Anthropic dijera que marcaría el texto generado por Claude, una medida que aplica en todo el mundo. Esa decisión generó críticas de algunos usuarios de Claude, que sostenían haber aportado "las instrucciones, el contexto y las decisiones" mientras que Claude era solo "la herramienta".

Según informó The Wall Street Journal en 2024, OpenAI ya había desarrollado una marca de agua de texto pero había postergado su lanzamiento, en parte por el temor de que los usuarios migraran a rivales que no la aplicaran. Anthropic, Google, Meta, Microsoft y OpenAI son algunas de las empresas que se comprometieron a seguir el código de prácticas de la UE sobre contenido generado por IA.