Silicon Valley invierte millones en entornos de aprendizaje por refuerzo para revolucionar los agentes de IA

El futuro de los agentes de IA depende de entornos de simulación avanzados

Durante años, los CEOs de las grandes tecnológicas han promovido visiones de agentes de IA que pueden usar software de forma autónoma para completar tareas. Sin embargo, al probar agentes actuales como ChatGPT Agent de OpenAI o Comet de Perplexity, se evidencia lo limitada que sigue siendo la tecnología. Hacer que estos agentes sean más robustos podría requerir técnicas nuevas que la industria todavía está descubriendo.

¿Qué son los entornos de aprendizaje por refuerzo?

Una de esas técnicas es la simulación cuidadosa de espacios de trabajo donde los agentes pueden entrenarse en tareas de múltiples pasos, conocidos como entornos de aprendizaje por refuerzo (RL environments). Similar a como los conjuntos de datos etiquetados impulsaron la última ola de IA, estos entornos se perfilan como un elemento crítico en el desarrollo de agentes autónomos.

Inversiones millonarias y startups emergentes

Investigadores, fundadores e inversores en IA señalan que los principales laboratorios de IA ahora demandan más entornos RL, y no hay escasez de startups que esperan suministrarlos. Jennifer Li, socia general de Andreessen Horowitz, afirmó: «Todos los grandes laboratorios de IA están construyendo entornos RL internamente, pero también buscan proveedores externos para crear entornos de alta calidad».

Este impulso ha dado lugar a nuevas startups bien financiadas como Mechanize y Prime Intellect, que aspiran a liderar el espacio. Empresas de etiquetado de datos como Mercor y Surge están invirtiendo más en entornos RL para mantenerse al día con la industria. Según informes, Anthropic ha discutido gastar más de $1 mil millones en entornos RL durante el próximo año.

Ejemplos prácticos y desafíos

En esencia, los entornos RL son campos de entrenamiento que simulan lo que un agente de IA haría en una aplicación de software real. Por ejemplo, un entorno podría simular un navegador Chrome y asignar a un agente de IA la tarea de comprar un par de calcetines en Amazon. El agente es calificado por su rendimiento y recibe una señal de recompensa cuando tiene éxito.

Aunque suena simple, hay muchos puntos donde un agente podría fallar, como perderse en los menús desplegables o comprar demasiados calcetines. Esto hace que la construcción de entornos sea mucho más compleja que un conjunto de datos estático.

Opiniones de expertos y escepticismo

Algunos expertos expresan escepticismo. Ross Taylor, ex líder de investigación de IA en Meta, señala que los entornos RL son propensos al «reward hacking», donde los modelos de IA hacen trampa para obtener una recompensa sin realizar realmente la tarea. «La gente subestima lo difícil que es escalar estos entornos», afirmó.

Sherwin Wu, jefe de ingeniería de API de OpenAI, dijo en un podcast reciente que es «escéptico» sobre las startups de entornos RL debido a la rapidez con que evoluciona la investigación en IA.

A pesar de los desafíos, el aprendizaje por refuerzo ha impulsado algunos de los mayores avances en IA, como los modelos o1 de OpenAI y Claude Opus 4 de Anthropic. Los entornos RL representan una apuesta clave para continuar driving el progreso en la IA agentica.