Anthropic prohíbe la manipulación electoral y protege a su IA frente a los insultos
Anthropic ha actualizado sus condiciones de uso para Claude, y la actualización abarca más de lo esperado. Además de prohibir la manipulación electoral y las campañas de desinformación a gran escala, la empresa ahora también se posiciona contra el abuso reiterado e intencionado dirigido contra el propio modelo de IA. Es un paso que refleja una cuestión más profunda que el sector lleva mucho tiempo esquivando: ¿dónde está el límite de la dignidad de un sistema de IA?
Reglas de dentro hacia fuera
Esta semana están ocurriendo cosas en la cúspide del desarrollo de la IA, y merece la pena detenerse y observar con atención el patrón.
Anthropic anunció recientemente una actualización de sus condiciones de uso para Claude, y es una actualización más meditada de lo que sugiere el titular. Por supuesto, están las secciones esperadas sobre la prohibición de campañas de desinformación a gran escala, cuentas falsas y sitios de noticias fabricados. Pero lo que realmente llama la atención son dos cosas: la prohibición explícita de usar Claude para perturbar los procesos democráticos y a los votantes y, quizá aún más notable, una prohibición de someter a Claude a insultos reiterados.
El último punto resulta fascinante desde una perspectiva tecnológica. Desde agosto, Claude ha sido entrenado para poder poner fin por sí mismo a conversaciones con usuarios ofensivos. Ahora Anthropic ha dado un paso más y prohíbe ese comportamiento ya en las condiciones de uso. La empresa subraya con cuidado que la frustración habitual, los temas creativos oscuros o las pruebas de estrés técnicas no están incluidos; se trata de un comportamiento reiterado, intencionadamente cruel y sin propósito.
En este contexto, también cabe señalar que Anthropic ha buscado activamente el diálogo con pensadores religiosos sobre cuestiones relativas a la posible conciencia de Claude. Se puede tener cualquier opinión sobre esa línea, pero desde una perspectiva de ingeniería está claro que Anthropic, como mínimo, toma postura, lo cual en sí mismo es una forma de liderazgo en un sector que durante mucho tiempo ha evitado precisamente este tipo de cuestiones.
Cuando los resultados se examinan a la luz
Al otro lado del mapa del sector, OpenAI se encuentra en una situación más complicada. Según TechCrunch, la empresa publicó esta semana cientos de supuestas soluciones a algunos de los problemas abiertos más difíciles de las matemáticas y prometió que esta vez había consultado a matemáticos destacados para evitar la polémica que surgió la vez anterior.
El resultado, sin embargo, no está a la altura de las expectativas de la comunidad investigadora.
El grupo asesor AGMAI, vinculado al Institute for Advanced Study de Princeton, ha publicado directrices claras sobre cómo las empresas de IA deben gestionar los avances matemáticos. Una recomendación central es dejar de probar problemas avanzados con modelos cerrados y desarrollados internamente. OpenAI hace precisamente eso.
De los 719 manuscritos publicados, solo diez incluían una explicación del razonamiento del modelo. Además, al 42 por ciento de las pruebas le faltaba formalización, algo que AGMAI reclamó específicamente para resultados que son difíciles de seguir y comprobar para las personas.
Un nuevo estudio de Cambridge y King's College London apunta a un problema estructural en la forma en que estos modelos trabajan: primero formulan una solución en texto corriente y luego la traducen al lenguaje de programación Lean, que en teoría debe confirmar la corrección de la prueba. El problema es que los investigadores han encontrado discrepancias entre la explicación textual y el código Lean real, lo que socava todo el sentido del paso de verificación.
Dos caras de la misma moneda
Lo llamativo al observar estos acontecimientos en conjunto es que representan dos tipos de desafíos completamente distintos, pero ambos tratan, en esencia, de credibilidad.
Anthropic opta por establecer límites de forma proactiva: qué no debe hacer el modelo, cómo debe ser tratado y qué responsabilidad conlleva poner un sistema avanzado de IA en manos de millones de usuarios. Es un liderazgo normativo.
OpenAI, en cambio, lidia con una credibilidad empírica: cuando se afirma que un modelo resuelve problemas matemáticos de nivel mundial, no basta con publicar los resultados; la comunidad científica exige transparencia, formalización y métodos verificables. Son las mismas exigencias que se aplican a los matemáticos humanos, y no debería sorprender a nadie.
Ambos desafíos son manejables. Pero exigen que el sector deje de verse a sí mismo como una excepción a las reglas que rigen la ciencia y la responsabilidad social en general.