Los textos de IA reciben marcas de agua invisibles, pero el etiquetado no es lo bastante fiable

Europa actúa, y el mercado responde

Ocurre ahora. El reglamento de IA de la UE ya no es un documento normativo abstracto que circula por Bruselas: empieza a tener consecuencias reales y medibles en la forma en que construimos, distribuimos y usamos los sistemas de IA. El 2 de agosto entraron en vigor los requisitos de transparencia, y en pocas semanas OpenAI despliega su tecnología textGrain para todos los usuarios de ChatGPT y Codex dentro de la Unión.

Según TechCrunch, se trata de marcas de agua invisibles: no es una señal visible, sino una influencia sutil en la elección de palabras del modelo que crea un patrón estadístico. Ese patrón es invisible para el lector humano, pero identificable para un sistema automatizado de revisión. Lo ingenioso del método es que el patrón acompaña al texto aunque se copie y se pegue en otros lugares.

Es una respuesta técnica elegante a una necesidad social legítima: tenemos que poder distinguir el texto escrito por personas del generado por máquinas. Las posibilidades son enormes; piense en cómo refuerza la integridad del periodismo, la academia, el derecho y la administración pública.

La tecnología es prometedora, pero no infalible

Seamos honestos: textGrain es un paso en la dirección correcta, pero no una solución milagrosa. Las pruebas de OpenAI muestran que la precisión baja de aproximadamente el 92 a el 66 por ciento si solo se sustituye el 10 por ciento de las palabras por sinónimos. Los textos cortos, las respuestas matemáticas y el contenido traducido son todavía más difíciles de identificar con fiabilidad.

Esto no es motivo para descartar la tecnología, sino para seguir desarrollándola. Todos los avances empiezan en algún punto, y el hecho de que la UE legisle ahora sobre el etiquetado crea un incentivo poderoso para que todo el sector resuelva los desafíos técnicos. Así es precisamente como mejor funcionan las regulaciones: marcan la dirección y dejan que el mercado encuentre los caminos para llegar allí.

También es notable que OpenAI decida limitar el despliegue a la UE y no convertir el marcado de agua en un estándar global, al menos por ahora. Esto dice algo importante sobre cómo la legislación europea funciona como generadora de normas globales: la UE impulsa una innovación que luego se extiende más allá de las fronteras de la Unión.

Cuando las herramientas de IA se vuelven contra el código abierto

Pero el reglamento de IA de la UE y las marcas de agua son solo una parte del panorama. En paralelo vemos otra consecuencia más inquietante del aumento de la capacidad de la IA, una que golpea con fuerza al entorno del código abierto.

Google anunció el 1 de octubre que pausa la recepción de informes de vulnerabilidades de productos en su Open Source Software Vulnerability Reward Program. La razón, según la propia Google: un aumento marcado de informes automatizados, de los cuales la gran mayoría carece de validez. Los investigadores de seguridad son derivados por el momento a otros canales, y el programa se evalúa de cara a una posible reanudación en el primer trimestre de 2027.

Este no es un fenómeno aislado. Como informa correctamente SecurityWeek, y así lo hace, esto forma parte de un patrón más amplio. Google ya había adaptado antes sus programas de recompensas para Chrome y Android en respuesta a que las herramientas de IA se usan cada vez más para buscar fallos de seguridad de forma automatizada. En el caso de Android, la recompensa máxima para las vulnerabilidades más difíciles, las demasiado complejas para que las herramientas automatizadas las encuentren, subió de un millón a 1,5 millones de dólares.

Es una señal clara: la IA democratiza las herramientas para buscar vulnerabilidades, lo cual es fantástico en teoría, pero crea un problema de ruido en la práctica. Cuando todos pueden usar la IA para enviar informes de forma automatizada, los informes realmente valiosos se ahogan en la multitud.

El código abierto bajo fuego cruzado

El entorno del código abierto es uno de los bienes comunes más valiosos de la humanidad, y ahora está bajo presión desde dos frentes. Por un lado, por el ruido generado por IA, que amenaza con erosionar los programas de vulnerabilidades. Por otro, por una oleada regulatoria que impone altas exigencias de transparencia y trazabilidad, más difíciles de cumplir para los proyectos abiertos que no cuentan con grandes departamentos jurídicos detrás.

Es una tensión que los legisladores de la UE deben tomar en serio. La regulación que protege a los ciudadanos pero debilita sin querer la infraestructura del código abierto, sobre la que descansa toda la sociedad digital, no es un buen negocio, ni para Europa ni para el resto del mundo.