Líderes en IA unidos para monitorear el ‘pensamiento’ de los modelos de razonamiento

Revolución en la transparencia de la inteligencia artificial

Investigadores de OpenAI, Google DeepMind y Anthropic lideran un histórico llamado a profundizar en el monitoreo de las cadenas de pensamiento (CoT) en modelos de razonamiento de IA, según un documento de posición publicado este martes.

¿Qué son las cadenas de pensamiento?

Las CoT funcionan como un «bloc de notas» externo donde modelos como o3 de OpenAI y R1 de DeepSeek desarrollan procesos de razonamiento paso a paso, similar a cómo los humanos resuelven problemas complejos. Estas cadenas ofrecen una ventana única al pensamiento de las IA.

«El monitoreo de CoT presenta una valiosa adición a las medidas de seguridad para IA de frontera, ofreciendo una rara visión de cómo los agentes de IA toman decisiones»

Firmantes de élite y llamado urgente

• OpenAI: Mark Chen (director de investigación)
• Safe Superintelligence: Ilya Sutskever (CEO)
• Premio Nobel: Geoffrey Hinton
• Google DeepMind: Shane Legg (cofundador)

Fragilidad y futuro del monitoreo

Los investigadores advierten que esta transparencia podría ser frágil y piden a los desarrolladores:

1. Estudiar qué hace que las CoT sean «monitorizables»
2. Rastrear sistemáticamente esta capacidad
3. Investigar su implementación como medida de seguridad

Carrera tecnológica y desafíos

El llamado ocurre en medio de una feroz competencia donde empresas como Meta reclutan investigadores con ofertas millonarias. Pese a avances como el modelo o1 de OpenAI (septiembre 2024) y desarrollos de Google DeepMind, xAI y Anthropic, aún se comprende poco sobre cómo estos modelos llegan a sus conclusiones.

«Estamos en este momento crítico donde tenemos esta nueva cadena de pensamiento. Parece bastante útil, pero podría desaparecer en unos años si la gente no se concentra en ello», destacó un investigador de OpenAI.