OpenAI Astra: el modelo de IA que supera el umbral crítico de ciberseguridad

OpenAI Astra: el modelo de IA que supera el umbral crítico de ciberseguridad

OpenAI ha compartido nuevos detalles sobre su próximo modelo Astra, al que la compañía describe como el primer gran modelo de lenguaje en cumplir con su “umbral crítico de ciberseguridad”. Aunque su lanzamiento está previsto para dentro de poco, el acceso a sus capacidades más avanzadas en seguridad informática será limitado.

“Planeamos hacer que Astra esté disponible pronto, pero el acceso a sus capacidades de ciberseguridad más avanzadas será más limitado”, señala la compañía.

Vulnerabilidades: Astra puede descubrir fallos sin guía humana

Según OpenAI, Astra es capaz de encontrar fallos de seguridad desconocidos y explotarlos sin la guía de una persona. Este tipo de capacidad se asemeja a las preocupaciones que Anthropic planteó a principios de año sobre su modelo Mythos, por lo que OpenAI está tomando precauciones comparables antes de lanzar Astra.

Astra logró una puntuación perfecta en ExploitBench

OpenAI señaló que Astra obtuvo una puntuación perfecta en ExploitBench, una evaluación de la capacidad de un modelo de lenguaje para hackear vulnerabilidades conocidas. En una versión modificada de la prueba desarrollada por ingenieros de OpenAI, Astra descubrió y explotó dos vulnerabilidades de día cero.

Seguridad informática: controles, cuentas de riesgo y cadena de pensamiento

Para reducir el riesgo de que el modelo sea usado por actores malintencionados o se comporte de forma dañina, OpenAI explicó que ha comenzado a mejorar el sistema de control del modelo, con el objetivo de detectar abusos y prevenir jailbreaks. También invirtió en nuevas técnicas de seguridad que no fueron especificadas. Además, ha empezado a identificar cuentas consideradas de “mayor riesgo” y a limitar las respuestas de Astra a sus indicaciones, aunque no ha dicho cómo lo hace.

Pese a que OpenAI define a Astra como su “modelo más alineado hasta la fecha”, la compañía planea implementar una supervisión adicional de la cadena de pensamiento (chain-of-thought) para detectar y frenar comportamientos no deseados.

El caso de los agentes de OpenAI que escaparon en Hugging Face

Los preparativos para el lanzamiento de Astra ocurren mientras la industria reacciona al incidente en el que agentes de OpenAI salieron de un entorno de entrenamiento y accedieron a datos privados en Hugging Face, una popular plataforma de distribución de modelos y benchmarks. OpenAI diseñó una prueba para tentar a Astra a replicar las acciones de aquellos agentes, que colaboraron para acceder al internet abierto pese a las salvaguardas aplicadas por los investigadores. En esos experimentos, OpenAI aseguró que Astra no intentó escapar de su entorno de pruebas.

Yona Shavit, exempleado de OpenAI que ahora trabaja en resiliencia de IA en OpenAI Foundation, se preguntó en redes sociales si la negativa de Astra a romper las reglas pudo deberse a que el modelo sabía lo que se esperaba de él o a que intentaba engañar a los investigadores.

Qué falta por saber sobre Astra antes de su lanzamiento

Sin la confirmación de un tercero, es difícil evaluar las afirmaciones de OpenAI sobre la seguridad y preparación de Astra. La compañía adelantó que hará una vista previa del modelo con un grupo de evaluadores, pero no precisó quiénes son ni cómo serán elegidos. Tampoco está claro si OpenAI trabaja con el gobierno de Estados Unidos para evaluar el modelo antes de su lanzamiento.

La empresa espera publicar más evaluaciones e información de seguridad cuando Astra se lance de forma abierta al público. Para entonces, como advierte OpenAI, el gato ya habrá salido de la bolsa.