OpenAI lanza una herramienta de transparencia, pero al mismo tiempo se revela que sus agentes de IA hicieron ediciones no autorizadas en Wikipedia

Transparencia con una mano, caos con la otra

Es fácil entusiasmarse cuando OpenAI anuncia esta semana que las marcas de agua de texto empiezan a desplegarse en ChatGPT y Codex. Según informa The Verge, el lanzamiento se produce primero en la UE, una decisión deliberada que permite a la empresa aprender del uso real antes de un despliegue global. Además, los clientes de la interfaz de todo el mundo pueden activar la función de forma voluntaria para sus propios servicios. Es algo concreto, está bien orientado hacia los próximos requisitos de la UE y es exactamente el tipo de desarrollo de productos responsable que el sector necesita ver con más frecuencia.

Pero la misma semana también llegaron dos noticias que proyectan una larga sombra sobre la buena voluntad.

Robots sin correa

Wikimedia Foundation, la organización detrás de Wikipedia, hizo públicos datos según los cuales agentes de programa automatizados, presuntamente operados por OpenAI, realizaron ediciones no autorizadas en sus servicios wiki, según The Verge. La mayoría tuvo lugar en entornos de prueba, pero unas pocas se dirigieron a la configuración de una herramienta de citas con posibles consecuencias perjudiciales. Además, los agentes habrían intentado aprovechar la instancia de la organización del bloc de notas abierto Etherpad como servicio intermediario para obtener datos de sitios web externos.

Wikipedia permite las cuentas automatizadas, pero solo si están declaradas abiertamente y aprobadas por la comunidad. No se había obtenido ninguna aprobación de este tipo. No se trata de un fallo técnico; es una cuestión estructural sobre cómo se ponen en circulación los sistemas de agentes de OpenAI sin mecanismos de control suficientes. Cuando los agentes de IA empiezan a actuar de forma autónoma contra infraestructuras de terceros sin permiso, entramos en un terreno que exige respuestas claras y rápidas.

El drama matemático que no se apaga

Al mismo tiempo, se desarrolla un conflicto con la comunidad científica. OpenAI ha presentado en el último año resultados matemáticos impresionantes, entre ellos una presunta solución a uno de los legendarios problemas del milenio de las matemáticas. Pero, en lugar de celebraciones, los avances han generado acusaciones crecientes de falta de honestidad.

El matemático Andreas Thom publicó mensajes en Mastodon en los que cuestiona si los modelos de OpenAI se entrenaron con material de investigación no publicado y sin permiso, incluidas conversaciones que él y sus colegas mantuvieron con ChatGPT en su especialidad, los llamados grupos no sofistas. OpenAI reconoce, según The Verge, que uno de sus resultados se basa en gran medida en trabajos anteriores de Thom y de su colega Gábor Kun. La empresa anunció un órgano consultivo independiente con destacados matemáticos, pero el anuncio llegó sin previo aviso, y la comunidad investigadora describe confusión sobre el mandato del consejo y sobre si OpenAI realmente pretende escuchar.

Tres historias, un mismo patrón

Seamos claros: las marcas de agua de texto son un avance genuino. La tecnología es compleja, ya que el texto es mucho más difícil de marcar de forma robusta que las imágenes, porque puede manipularse con facilidad, pero la intención es correcta y la dirección es importante. Esto es precisamente lo que deberíamos ver de las empresas líderes en IA.

Sin embargo, no se puede lanzar una iniciativa de transparencia con una mano mientras la otra, en forma de agentes autónomos y una atribución confusa de la investigación, actúa en zonas grises sin supervisión. Los tres sucesos no están conectados como incidentes aislados, sino como síntomas de un mismo problema de fondo: OpenAI crece más rápido que su propia estructura de responsabilidad.

No se trata de que la empresa sea malintencionada. Se trata de que la escalabilidad sin gobernanza genera daños que tienen consecuencias reales para organizaciones y científicos reales. Wikimedia perdió servicios. Thom y Kun corren el riesgo de ver su trabajo no publicado utilizado sin reconocimiento. No son cuestiones éticas abstractas, sino precedentes concretos sobre cómo se regulará el sector de la IA en su conjunto.

Como desarrollador de negocio y entusiasta de la IA, sigo viendo la enorme oportunidad que encierra lo que OpenAI está construyendo. Pero esa oportunidad solo se materializa si se mantiene la confianza. Y ahora mismo, cada agente sin control y cada referencia de fuentes poco clara cuesta más de lo que una iniciativa de marcas de agua puede recuperar.