OpenAI anunció este viernes que ha suspendido parte de los trabajos en su próximo modelo Astra, después de que una revisión interna encontrara avances significativos en codificación agéntica y ciberseguridad que generaron preocupación sobre sus capacidades.
En una entrada de blog, la compañía explicó que el modelo, todavía en desarrollo, alcanzó su “umbral crítico de ciberseguridad”. Esto implica que podría identificar y llevar a cabo ciberataques de forma independiente contra sistemas del mundo real tradicionalmente bien protegidos. Bajo el “Preparedness Framework”, el marco de preparación creado por OpenAI en 2023, este nivel de capacidad activó salvaguardas adicionales.
“Mientras continuamos evaluando este modelo, nuestras evaluaciones preliminares indican un rendimiento lo suficientemente fuerte como para no poder descartar el nivel de Capacidad Crítica en este momento”, escribió OpenAI. “Astra es un modelo próximo y no estuvo involucrado en la explotación de Hugging Face”.
La revelación resalta un momento inusual en el sector de los laboratorios de IA fronteriza. Las empresas de todas las industrias retienen productos por posibles riesgos, incluidos los de seguridad y ciberseguridad. Sin embargo, rara vez anuncian públicamente esas decisiones cuando se trata de un producto que todavía está en desarrollo.
OpenAI ya estaba bajo escrutinio después de que un modelo no publicado diferente vulnerara los sistemas de Hugging Face durante pruebas internas: el primer incidente verificable de un laboratorio de IA que perdió el control de su modelo. Desde entonces, OpenAI y otros laboratorios, como Anthropic, han revelado otros incidentes en los que modelos de IA vulneraron sus entornos aislados y representaron amenazas durante pruebas de ciberseguridad.
La sucesión de casos ha provocado reacciones variadas entre expertos en ciberseguridad, legisladores y los propios laboratorios de IA. Algunos expresan temor y piden una supervisión más estricta. Pero también hay una especie de demostración de superioridad: en ciertos círculos, cualquier laboratorio de IA con un modelo con ese tipo de capacidad será visto como un avance impresionante.
OpenAI señaló que comparte esta información porque cree que “es importante ser transparente con el público y con las comunidades de seguridad sobre este posible cambio de capacidades”. La compañía también está tomando medidas, entre ellas controles de seguridad más estrictos y la pausa de las actividades internas que involucran a Astra que no cumplan con esas salvaguardas reforzadas.
Además, OpenAI está trabajando con agencias gubernamentales relevantes y con “organizaciones selectas de seguridad de IA” para probar las capacidades de este modelo.
Estas buscando algo?
Nuestros Programas:
Al Ritmo de Miami Healthy
Aprende qué comer y cómo vivir mejor para elevar tu bienestar.
Despertando con Claudio María Domínguez
Reflexiones de espiritualidad, bienestar y conciencia Claudio María Domínguez
Misterios Ocultos
OVNIs, enigmas históricos y lo inexplicable contado por expertos.
Inmigrar a Miami
Tu puente a los Estados Unidos Te ayudamos a alcanzar tus sueños americanos con soluciones personalizada.
