El abogado que dejó que ChatGPT escribiera la defensa jurídica — y el tribunal que lo condenó por ello

Cuando la IA se encuentra con el sistema judicial — y pierde

Es fácil hablar de la IA como una herramienta del futuro. Es más difícil explicar por qué un abogado experimentado con 40 años de carrera presentó un documento legal lleno de testigos ficticios y referencias legales que nunca existieron — y por qué no verificó ni una sola afirmación antes de firmar.

Pero eso es exactamente lo que sucedió en Nuevo México. Según Ars Technica, la corte suprema del estado ha condenado al abogado penalista Stephen Aarons por desacato al tribunal, después de que ingresara documentos de procedimiento en ChatGPT y luego presentara críticamente el resultado generado. Entre las personas completamente inventadas en el escrito se encontraban los policías Officer Michelle Amarillo y Officer Sanchez — testigos que nunca fueron llamados a juicio, porque nunca existieron. Aarons, cuyo cliente era un asesino condenado cuya familia lo contrató para apelar una sentencia de cadena perpetua, vio su caso representado por un documento que parecía más literatura de ficción que jurisprudencia.

— Es poco reconfortante saber que es mi propia estupidez la que nos reúne aquí, dijo Aarons durante el interrogatorio.

Es una declaración que debería colgarse en la pared de toda organización que en estos momentos implementa herramientas de IA sin procedimientos claros de revisión y responsabilidad.

Meta: Tres golpes a la vez

Pero el caso del abogado no es una excepción — es un síntoma. Y ningún actor ilustra mejor la amplitud de los desafíos que Meta, que en los últimos meses se ha enfrentado a problemas en tres frentes separados.

Primero: la demanda. Un grupo de padres e hijos en Illinois y California ha presentado, según reporta Wired, una demanda en la corte federal de Chicago. Alegan que Meta extrajo en secreto datos biométricos de imágenes en Facebook e Instagram — tanto para entrenar los modelos de imagen generativa Emu y Muse Image, como para un sistema de reconocimiento facial oculto llamado NameTag, incorporado en la aplicación de gafas inteligentes de Meta. La aplicación ha sido descargada más de 50 millones de veces. El sistema fue diseñado para convertir rostros capturados por la cámara de las gafas en firmas biométricas y compararlas con una base de datos. Meta niega que esté construyendo una base de datos central de rostros, pero no ha respondido a la pregunta de si NameTag requiere consentimiento activo.

Luego: la asistente de IA. The Verge reporta cómo la usuaria de Instagram Kalie Robins publicó un video donde Meta AI — sin su conocimiento — recopiló información sobre sus hijos a partir de publicaciones propias y de familiares, sugirió preguntas adicionales sobre la edad y lugar de residencia de los niños, y mostró fotos de sus hijas — incluyendo una foto que ella afirma haber eliminado hace varios años. Meta admitió que la función "nunca debería haber presentado tales preguntas". Es un eufemismo de categoría.

La legislación responde

Mientras tanto, la política se mueve. Breakit reporta que el gobernador de California, Gavin Newsom, ha firmado un paquete legislativo que prohíbe funciones que crean dependencia en las redes sociales para usuarios menores de 16 años — desplazamiento infinito, algoritmos de recomendación y notificaciones manipuladoras. El paquete también incluye normas más estrictas para chatbots de IA dirigidos a jóvenes.

California ha funcionado durante mucho tiempo como árbitro normativo en legislación tecnológica en Estados Unidos, y este tipo de decisiones generalmente se propagan rápidamente. Los gigantes tecnológicos con sede en Silicon Valley tendrán que adaptarse — y rápido.

La solución ya existe — pero no se usa

Lo interesante es que ya existen respuestas técnicas para varios de estos problemas. La adquisición de Kiteworks de la empresa de seguridad Bonfy.AI es un ejemplo elocuente: la tecnología puede clasificar datos sensibles en tiempo real y aplicar políticas de seguridad antes de que los datos salgan de un sistema — sin importar si es una persona o un agente de IA quien inicia el intercambio. Se trata de pasar de conocer dónde se encuentran los datos sensibles, a controlar realmente lo que sucede cuando se utilizan.

Esa es exactamente la infraestructura que faltaba cuando Aarons presionó enviar, cuando la IA de Meta preguntó por la dirección de un niño de cinco años, y cuando NameTag silenciosamente construía su base de datos.

Las posibilidades de la IA son enormes. Pero nos encontramos ahora en una fase en la que los sistemas judiciales, los legisladores y el público en general, con razón, exigen que el entusiasmo se equilibre con responsabilidad.