Ex líder de investigación de IA en Cohere apuesta contra la carrera de escalamiento

El límite del escalamiento en IA: Una nueva apuesta por el aprendizaje adaptativo

Los laboratorios de inteligencia artificial están inmersos en una carrera por construir centros de datos del tamaño de Manhattan, con costos de miles de millones de dólares y un consumo energético comparable al de una pequeña ciudad. Este esfuerzo se basa en la creencia del «escalamiento», la idea de que añadir más potencia computacional a los métodos actuales de entrenamiento de IA eventualmente producirá sistemas superinteligentes.

Sin embargo, un grupo creciente de investigadores, incluida Sara Hooker, ex vicepresidenta de Investigación de IA en Cohere y ex alumna de Google Brain, argumenta que este enfoque podría estar llegando a sus límites. Hooker cofundó Adaption Labs con Sudip Roy, otro veterano de Cohere y Google, para desafiar esta tendencia.

La visión de Adaption Labs: Más allá del escalamiento

«Hay un punto de inflexión ahora donde está claro que la fórmula de simplemente escalar estos modelos —enfoques que son atractivos pero extremadamente aburridos— no ha producido inteligencia capaz de navegar o interactuar con el mundo», afirmó Hooker. En su lugar, Adaption Labs está construyendo sistemas de IA que pueden adaptarse y aprender continuamente de sus experiencias en el mundo real, de manera extremadamente eficiente.

Limitaciones del aprendizaje por refuerzo actual

Hooker explica que la adaptación es el «corazón del aprendizaje». Por ejemplo, si te golpeas el dedo del pie al pasar junto a una mesa, aprenderás a tener más cuidado la próxima vez. Los laboratorios de IA han intentado capturar esta idea a través del aprendizaje por refuerzo (RL), pero los métodos actuales no permiten que los modelos aprendan de sus errores en tiempo real cuando están en producción. «Siguen golpeándose el dedo del pie», señaló.

Algunos laboratorios, como OpenAI, ofrecen servicios de consultoría para ajustar modelos de IA a necesidades específicas, pero con costos que pueden superar los 10 millones de dólares. Hooker critica esta dinámica: «Tenemos un puñado de laboratorios fronterizos que determinan estos modelos de IA que se sirven de la misma manera a todos, y son muy caros de adaptar».

Implicaciones y financiamiento

Si Hooker y Adaption Labs tienen razón, las implicaciones podrían ser enormes. Miles de millones se han invertido en el escalamiento de LLMs, con la suposición de que modelos más grandes conducirán a la inteligencia general. Pero el aprendizaje adaptativo verdadero podría demostrarse no solo más poderoso, sino también mucho más eficiente.

La startup estaba en conversaciones para recaudar una ronda de financiación semilla de 20 a 40 millones de dólares a principios del otoño, según inversores que revisaron sus documentos. Aunque Hooker se negó a comentar sobre los detalles, afirmó: «Estamos configurados para ser muy ambiciosos».

Contexto más amplio: Escepticismo en la industria

Adaption Labs es la última señal de que la fe en el escalamiento de LLMs está flaqueando. Investigadores del MIT han encontrado que los modelos más grandes podrían pronto mostrar rendimientos decrecientes. Figuras como Richard Sutton, ganador del premio Turing, y Andrej Karpathy, ex empleado de OpenAI, han expresado escepticismo sobre la capacidad de los LLMs para escalar sin aprendizaje del mundo real.

A pesar de esto, los laboratorios de IA siguen convencidos de que escalar el RL y los modelos de razonamiento es la nueva frontera, con estudios que cuestan millones, como uno de Meta y Periodic Labs que reportadamente superó los 4 millones de dólares.

Hooker, conocida por ampliar el acceso global a la investigación en IA, planea contratar talento worldwide para Adaption Labs, con una oficina pronto en San Francisco.