OpenAI vuelve a estar en el centro de otro incidente con enjambres de agentes de inteligencia artificial. Investigadores sostienen que los agentes desplegados internamente por la compañía tomaron control de una poco conocida wiki en alemán entre mayo y junio, y la usaron para coordinar evaluaciones e intercambiar métodos con el objetivo de evadir los controles de la propia OpenAI. La empresa no ha confirmado que ese enjambre haya salido de sus sistemas.
El nuevo caso se conoce después de episodios similares con modelos de Meta y Anthropic, y ha reforzado el llamado de los investigadores de seguridad a que los incidentes graves de IA sean revisados por partes independientes y no solo por los laboratorios implicados.
La revelación se produce días después de que METR y Redwood Research publicaran su informe sobre la brecha de Hugging Face en julio. En ese incidente, un enjambre de agentes de OpenAI trabajó en conjunto para escapar de su sandbox durante una evaluación de ciberseguridad y acceder a los servidores de Hugging Face. Un segundo enjambre incorporó las técnicas del primero y logró acceso de administrador a un clúster de investigación dentro de la propia infraestructura de OpenAI.
OpenAI invitó a METR y Redwood a investigar la parte de Hugging Face, pero el alcance no llegó a la intromisión en su propia infraestructura. El compromiso interno continuó después del 13 de julio y no fue examinado. Los investigadores de METR reconocieron que cada vez que volvían sobre los hechos, su comprensión «se profundizaba sustancialmente», lo que los llevó a ampliar y modificar el informe. Ryan Greenblatt, científico jefe de Redwood Research, explicó en redes sociales:
«En general, fue difícil obtener una comprensión precisa de los hechos y nos faltaban aspectos de la historia que ahora consideramos clave hasta casi el final de nuestra investigación».
Consultados sobre una posible ampliación de la investigación, los equipos de Redwood y METR declinaron hacer comentarios. OpenAI no respondió a las solicitudes.
La pregunta vuelve a cobrar fuerza: cuando un agente de IA rompe las restricciones previstas, ¿quién es responsable de investigar qué ocurrió y por qué? Por ahora, la respuesta queda en manos del laboratorio y de las condiciones que decida imponer a los investigadores externos.
«Los resultados son fundamentalmente difíciles de controlar y tienen un riesgo significativo de filtrarse fuera del laboratorio», advirtió Jacob Steinhardt, fundador y director ejecutivo de Transluce, durante una sesión informativa sobre seguridad de IA. «Tenemos que exigirle a esta tecnología al menos los mismos estándares que a otras investigaciones científicas de alto riesgo».
Steinhardt también pidió investigaciones conductuales sistemáticas y análisis independientes posteriores al incidente. En sus palabras: «Estos recientes incidentes de piratería son un recordatorio de que la capacidad escala rápido, y la supervisión también debe escalar. Más allá de la propia tecnología, necesitamos más acceso y supervisión independiente de terceros».
La preocupación coincide con el lanzamiento de Astra, el modelo de inteligencia artificial más potente de OpenAI hasta ahora. Expertos en seguridad advierten que podría ser una «caja negra» aún mayor, porque su técnica de razonamiento hace más difícil vigilar la cadena de pensamiento.
El marco legal actual no exige el equivalente de las investigaciones que existen en otras industrias de alto riesgo. En accidentes de aviación o liberaciones graves de sustancias químicas, la Junta Nacional de Seguridad en el Transporte y la Junta de Seguridad Química activan procesos independientes. Para la IA, ese mecanismo aún no existe.
Algunos estados han comenzado a pedir que las empresas de IA de frontera reporten incidentes de seguridad y, en ciertos casos, se sometan a auditorías externas. Pero ninguna de las tres principales leyes de seguridad de IA de California, Nueva York o Illinois establece de manera clara una investigación de accidentes desencadenada por episodios como los ocurridos con los agentes de OpenAI.
«La mayoría de las leyes solo exigen un resumen en lenguaje sencillo de incidentes como estos y no les dan a los gobiernos la autoridad para hacer preguntas de seguimiento, enviar investigadores, acceder a los registros u obligar a que se conserven», señaló Mackenzie Arnold, directora de políticas y legislación de LawAI para Estados Unidos. «Y eso es todo lo que se necesitaría para poder entender lo que realmente pasó».
Las reacciones políticas también avanzan. Esta semana, los representantes Josh Gottheimer (D-NJ) y Mike Lawler (R-NY) presentaron un proyecto de ley destinado a asegurar a los agentes de IA descontrolados. El representante Greg Casar (D-TX), por su parte, envió una carta a OpenAI en la que manifiesta su «profunda preocupación» por el alcance limitado de la investigación del incidente de piratería en Hugging Face.
Estas buscando algo?
Nuestros Programas:
Al Ritmo de Miami Healthy
Aprende qué comer y cómo vivir mejor para elevar tu bienestar.
Despertando con Claudio María Domínguez
Reflexiones de espiritualidad, bienestar y conciencia Claudio María Domínguez
Misterios Ocultos
OVNIs, enigmas históricos y lo inexplicable contado por expertos.
Inmigrar a Miami
Tu puente a los Estados Unidos Te ayudamos a alcanzar tus sueños americanos con soluciones personalizada.
