Líderes en IA Urgen Investigación para Monitorear los ‘Pensamientos’ de los Modelos de Razonamiento

Coalición Global Busca Mayor Transparencia en Procesos de IA

Investigadores de OpenAI, Google DeepMind, Anthropic y una amplia coalición de empresas y organizaciones sin fines de lucro publicaron este martes un artículo de posición que exige mayor investigación sobre técnicas para monitorear los «pensamientos» de los modelos de razonamiento de inteligencia artificial.

¿Qué son las Cadenas de Pensamiento (CoTs)?

Las CoTs representan procesos externalizados donde modelos de IA como o3 de OpenAI y R1 de DeepSeek resuelven problemas paso a paso, similar a humanos usando papel de borrador. Este mecanismo es fundamental para agentes de IA avanzados, y los investigadores argumentan que su monitoreo podría ser clave para controlar sistemas cada vez más autónomos.

«El monitoreo de CoT ofrece un raro vistazo a cómo los agentes de IA toman decisiones», destacan los autores. «Sin embargo, no hay garantía que esta visibilidad persista. Instamos a desarrolladores a maximizar su utilidad y estudiar cómo preservarla».

Llamado a la Acción y Firmantes Clave

El documento urge a estudiar factores que afectan la «monitorización» de CoTs, advirtiendo sobre su fragilidad y posibles reducciones en transparencia. Entre los firmantes destacan:

• Mark Chen (Director de Investigación de OpenAI)
• Ilya Sutskever (CEO de Safe Superintelligence)
• Geoffrey Hinton (Premio Nobel)
• Shane Legg (Cofundador de Google DeepMind)

Competencia Industrial y Desafíos Técnicos

Esta iniciativa surge en medio de feroz competencia tecnológica, donde empresas como Meta han reclutado investigadores clave de OpenAI y Google DeepMind con ofertas millonarias. Pese a avances como el lanzamiento del modelo o1 de OpenAI en septiembre de 2024, aún existe escasa comprensión sobre cómo estos sistemas llegan a conclusiones.

Bowen Baker, investigador de OpenAI, advirtió: «Estamos en un momento crítico donde las CoTs parecen útiles, pero podrían desaparecer si no nos concentramos en ellas».

Interpretabilidad y Futuro

Mientras Anthropic lidera investigaciones sobre interpretabilidad -incluyendo dudas sobre la confiabilidad de CoTs-, OpenAI explora su potencial como herramienta de seguridad. El artículo busca atraer más recursos hacia este campo emergente para garantizar el desarrollo responsable de agentes de IA avanzados.