Los matemáticos ponen el pie en tierra: los gigantes de la IA no pueden reescribir las reglas de la ciencia

Normas bajo presión — en todos los frentes simultáneamente

Rara vez se ve que una industria sea desafiada en tres frentes al mismo tiempo: integridad científica, derecho de la competencia y riesgo existencial. Pero es exactamente lo que está sucediendo ahora en el mundo de la IA —y es una evolución que considero tanto necesaria como, en el fondo, saludable.

Comencemos con lo que más llama la atención. Según TechCrunch, veinticinco de los matemáticos más meritorios del mundo —todos receptores de la Medalla Fields, el máximo galardón de las matemáticas— han firmado una carta abierta dirigida contra la forma en que la industria tecnológica maneja problemas matemáticos clásicos. El conflicto estalló cuando el profesor de NYU Tristan Buckmaster acusó a OpenAI de intentar presionarlo para que no atribuyera crédito a un colega de Anthropic que había contribuido a la solución de un importante problema matemático. Buckmaster también cuestiona si OpenAI podría haber utilizado su investigación como base para la propia prueba de la empresa —una prueba que aún carece de revisión independiente—. En respuesta a las críticas de Caltech, OpenAI luego retiró su apoyo económico a un evento de matemáticos en la universidad.

Es una actuación notable. Los matemáticos no son escépticos de la tecnología —son pioneros en un área donde la IA ahora está logrando avances históricos—. Pero nos recuerdan algo fundamental: una solución que no pueda ser entendida, revisada y comunicada por la comunidad investigadora no beneficia a nadie en última instancia. La velocidad y la presión competitiva no deben socavar los fundamentos de la cultura científica.

Destilación y doble rasero

En otro frente, el director ejecutivo de Y Combinator, Garry Tan, ha adoptado una posición sorprendente. En medio del debate en curso sobre ataques de destilación de laboratorios de IA chinos contra grandes modelos estadounidenses —donde Dario Amodei de Anthropic ha instado a los reguladores a actuar—, Tan dice claramente que no quiere ver ninguna intervención. Al contrario: aboga por un sistema estadounidense de destilación donde laboratorios nacionales puedan hacer lo mismo.

La destilación, para los no iniciados, implica entrenar un modelo formulando sistemáticamente preguntas a otro para mapear cómo razona. La técnica es legítima en sí misma y común en la industria —pero ha atraído atención desde que Anthropic reportó lo que denomina ataques ilícitos donde atacantes ocultaron sus identidades y utilizaron credenciales de inicio de sesión robadas—.

Tan es cuidadoso al aclarar que no aboga por el robo. Pero plantea un punto de principio que es difícil descartar: las grandes empresas de IA recopilaron enormes cantidades de material protegido por derechos de autor sin permiso cuando construyeron sus modelos. El doble rasero es evidente —y ese tipo de inconsistencia suele ser un signo de que las reglas del juego realmente necesitan ser reescritas, no solo aplicadas selectivamente—.

Riesgo existencial —¿exageración o realidad?

Por si fuera poco, MIT Technology Review reúne el 15 de septiembre a sus escritores de IA más experimentados para una conversación sobre la pregunta que muchos evitan tomar en serio: ¿puede la IA avanzada constituir una amenaza existencial para la humanidad? El editor en jefe Niall Firth modera la discusión y promete profundizar en de dónde surgen estos temores, si descansan sobre fundamentos científicos y qué debería hacer la sociedad en tal caso.

Lo que le da nuevo peso al debate es que ahora son empleados de los propios laboratorios de IA quienes alzan banderas de advertencia —no escépticos externos de la tecnología—. Es más difícil descartar eso.

Soy genuinamente optimista sobre lo que la IA puede lograr. Pero precisamente por eso, este tipo de conversación es crucial. Una transformación sin responsabilidad no es transformación —es caos a alta velocidad—.

Una industria que debe madurar

Lo que los tres eventos tienen en común es que todos tratan sobre el poder de fijar las normas. ¿Quién decide cómo se atribuye la investigación? ¿Quién posee el derecho de aprender de los modelos de los competidores? ¿Quién define qué riesgo es aceptable para la humanidad?

Hasta ahora, las empresas de IA han establecido en gran medida sus propias reglas de juego. Parece que esa era está llegando a su fin.