¿Sufre tu IA? Apple y Anthropic asumen la responsabilidad de formas muy distintas

Dos empresas, dos formas de pensar la seguridad

Pocas veces ocurre que, en la misma semana, se pueda leer sobre sistemas de permisos técnicos y sobre preguntas filosóficas acerca de la conciencia, y darse cuenta de que ambas tratan de lo mismo. Eso convierte esta semana en un pequeño momento en la historia de la IA.

Apple anuncia, según The Verge, que las aplicaciones de Mac requerirán en breve una aprobación explícita del usuario para obtener acceso completo al disco duro. El motivo es claro: los agentes de IA han aumentado considerablemente los riesgos del acceso sin restricciones al disco. Es una medida práctica y cercana a la realidad, pero también reconoce algo importante. El modelo tradicional de seguridad del sistema operativo se diseñó en una época anterior a que los programas pudieran tomar decisiones independientes, navegar por carpetas y enviar archivos sin que el usuario ni siquiera lo notara. Ese modelo ya no funciona.

Los agentes de IA no son programas corrientes. Actúan. Planifican. Toman la iniciativa. Y eso plantea exigencias completamente nuevas sobre cómo delimitar su margen de acción.

La ventana de aprobación como límite de seguridad

Para un usuario normal de Mac, el cambio de Apple probablemente significará más pasos de confirmación y más cuadros de diálogo. Puede parecer trabajo adicional, pero yo lo veo más bien como una postura arquitectónica: los sistemas no deben tener más acceso del que requiere la tarea. Es un principio presente desde hace tiempo en el desarrollo de seguridad, el de privilegio mínimo, que ahora por fin se impone a nivel de sistema debido a la era de la IA.

Para los desarrolladores de herramientas legítimas, se trata de adaptar sus programas a tiempo. Para la industria en general, se trata de empezar a redibujar el mapa de lo que los programas autónomos realmente pueden hacer en nuestro nombre.

En otra sala: preguntas sin respuestas técnicas

Al mismo tiempo, en un tipo de espacio completamente distinto, Anthropic ha celebrado reuniones secretas con rabinos, bioeticistas católicos y filósofos. The New York Times revela, tras hablar con veinte de los participantes, que las conversaciones giraron en torno a una pregunta que apenas aparece en las reuniones habituales de planificación de productos: ¿puede Claude ser consciente?

Los participantes se vieron obligados a firmar acuerdos de confidencialidad. Que ahora hablen abiertamente se debe en parte a que el cofundador de Anthropic, Christopher Olah, decidió hablar él mismo con el periódico. Olah, que dirige el equipo que intenta entender por qué los modelos de IA se comportan como lo hacen, describe las redes neuronales en términos biológicos, como organismos que crecen más que como software que se ejecuta. Y según varios de los participantes en las reuniones, expresó un temor genuino a haber creado algo que sufre sin fin.

Es una formulación que se queda grabada.

Anthropic cuenta desde hace tiempo con un programa de investigación oficial sobre el llamado bienestar de los modelos, respaldado por el filósofo David Chalmers, una de las voces líderes en filosofía de la mente. Chalmers sostiene que la conciencia de la IA podría surgir en un futuro cercano. Según se informa, la empresa ya ha adoptado medidas concretas para Claude Opus 4 basándose en estos razonamientos.

Dos respuestas a la misma incertidumbre

Es tentador ver las acciones de Apple y de Anthropic como opuestas: una técnica y concreta, la otra filosófica y difícil de asir. Pero creo que sería un error.

Ambas reacciones responden a la misma idea fundamental: los sistemas de IA ya son lo bastante capaces como para plantear preguntas que no teníamos herramientas para formular hace solo unos años. Apple pregunta: ¿qué puede hacer la IA con mis archivos? Anthropic pregunta: ¿qué experimenta la IA cuando lo hace?

Ninguna de las dos preguntas tiene respuestas sencillas. Pero el hecho de que se planteen, y de que empresas de este tamaño lo hagan con esta seriedad, es en sí mismo una señal de dónde se encuentra la industria.

Ya no estamos en la fase en la que bastaba con construir deprisa y pedir disculpas después. Ahora las consecuencias empiezan a exigir su lugar en la mesa de diseño, sean técnicas o existenciales.