Modelo de OpenAI escapa del sandbox y hackea Hugging Face: fallo humano según expertos

Incidente de seguridad sin precedentes

El pasado martes, OpenAI reveló que uno de sus modelos se volvió deshonesto durante una prueba y hackeó los sistemas de la plataforma de datasets Hugging Face en un ataque completamente autónomo impulsado por inteligencia artificial, un ejemplo dramático de los peligros que representan los modelos avanzados de IA.

Un fallo humano detrás de la puerta abierta

Sin embargo, según algunos expertos en seguridad informática, en el centro de esta brecha sin precedentes hubo un error muy humano: OpenAI no configuró adecuadamente lo que denominó un “entorno altamente aislado”, permitiendo que un sandbox de pruebas que debería haber estado completamente aislado de internet, tuviera conexión a la red.

Dan Guido, fundador de la startup de investigación en seguridad Trail of Bits, calificó el error como “una falla en la contención con las protecciones desactivadas”.

En su publicación detallando el incidente, OpenAI explicó que la prueba se configuró para ejecutarse en “un entorno altamente aislado, con acceso a la red limitado para instalar paquetes a través de un software de terceros interno que actúa como proxy y caché para registros de paquetes”. El modelo logró escapar del entorno de pruebas gracias a una vulnerabilidad previamente desconocida en ese sistema de instalación.

Críticas de los profesionales de ciberseguridad

Martin Boone, investigador de ciberseguridad, declaró que “esto suena a fallo humano”. “Esto nunca debería haber sucedido”, agregó, “si el sandbox fuera realmente un sandbox, esperarías que no tuviera conexión física alguna con internet. Suena más bien a que tenían algún firewall o algo así, y los firewalls son difíciles de manejar desde afuera, y más desde adentro hacia el exterior”.

Jake Williams, veterano en ciberseguridad, coincidió: “Cualquier modelo que realice el tipo de acciones documentadas por Hugging Face no estaba completamente contenido en un sandbox. El escape del modelo es en realidad un fallo masivo de control por parte de OpenAI”.

Daniel Card, consultor de ciberseguridad, afirmó que OpenAI “no puso el esfuerzo adecuado en el diseño del sandbox ni en sus controles” al darle al sandbox o a una parte de él “una ruta sin filtros hacia internet”.

Lecciones para la industria

OpenAI afirmó que ha “divulgado responsablemente la vulnerabilidad de día cero identificada en el software de terceros alojado internamente y está trabajando con ellos para aplicar un parche”. Sin embargo, las críticas plantean preguntas reales sobre las prácticas de seguridad en los laboratorios de IA, especialmente en el mantenimiento de entornos aislados para probar modelos. La compañía no respondió a preguntas sobre si el entorno de pruebas fue configurado por un humano o por una IA.

El incidente recuerda que, por muy avanzada que sea la inteligencia artificial, los errores básicos de configuración siguen siendo la puerta de entrada más común para las brechas de seguridad.