Encord y Zander Labs investigan el uso de ondas cerebrales para entrenar robots con datos físicos

En un almacén en San Leandro, California, la startup Encord está llevando a cabo una prueba pionera: utilizar cascos que miden ondas cerebrales para recolectar datos de entrenamiento para robots. La empresa, especializada en herramientas de datos para modelos de inteligencia artificial, colabora con la firma alemana de neurociencia Zander Labs para explorar si la actividad cerebral puede ofrecer pistas más precisas a los sistemas de IA física.

El desafío de la escasez de datos físicos

A diferencia de los modelos de lenguaje, que se entrenan con enormes cantidades de texto extraído de internet, la inteligencia artificial física —como los robots humanoides o los brazos mecánicos— requiere datos del mundo real que son difíciles y costosos de obtener. Vineeth Velmurugan, responsable de aprendizaje robótico en Encord y veterano de OpenAI y Berkshire Grey, afirma que “los datos simplemente no existen” y que se necesita un conjunto de datos aproximadamente cinco veces mayor que el corpus de videos de YouTube para lograr un avance significativo.

Ondas cerebrales como nueva modalidad de datos

Andrew Ceja, uno de los pilotos —como la compañía denomina a los entrenadores robóticos—, usa un casco equipado con cámaras y sensores que miden sus ondas cerebrales mientras juega al Jenga. La tarea consiste en retirar bloques de madera de una torre tambaleante, y los datos recogidos permiten deducir estados mentales como error, intención o sorpresa. Lukas Gehrke, neurocientífico de Zander Laboratories, supervisa el experimento y explica que la cantidad de actividad cerebral en cada momento puede indicar a los desarrolladores cuándo deben desplegar sus modelos más exigentes.

Otras técnicas de recolección de datos

Además de las ondas cerebrales, Encord utiliza vídeo egocéntrico recogido por trabajadores con cámaras en varias fábricas del mundo, así como sistemas de leader-follower en los que un operador controla directamente un brazo robótico mientras otro lo imita. En las instalaciones de San Leandro, los pilotos generan datos para tareas como verter café, apilar fichas de póker o enchufar cables Ethernet en servidores, trabajos que las empresas de centros de datos ansían automatizar.

Anotaciones densas frente a datos básicos

Los conjuntos de datos de Encord se etiquetan con descripciones físicas detalladas, como “mano derecha aprieta el tornillo”, lo que ayuda a los modelos basados en LLM a comprender lo que ocurre. Velmurugan estima que este tipo de anotación densa vale 100 veces más que los datos egocéntricos básicos para tareas específicas, aunque su producción cuesta solo 20 veces más. El equilibrio es favorable en teoría, pero el coste sigue siendo un obstáculo frente a la recolección gratuita de texto de Internet.

El negocio de fabricar datos de entrenamiento

Encord nació como empresa de anotación de datos para aplicaciones de visión artificial, pero al ver que sus clientes —incluidas las principales firmas de robótica, cuyos nombres no están autorizados a revelar— necesitaban datos físicos, decidió producirlos internamente. La compañía emplea a una docena de pilotos, entre ellos Ceja y Sofia Infante, quienes anteriormente trabajaron en Scale, otra firma de anotación de IA. Ceja, que antes se encargaba de mantener un clasificador robótico de basura, afirma: “Cada día es algo nuevo”.

El enfoque de Encord incluye también sensores colocados en el antebrazo para detectar señales eléctricas en los músculos, con el objetivo de crear una representación 3D de la mano en tiempo real. La empresa confía en que su posición privilegiada, al trabajar con múltiples compañías de robótica, le permita identificar qué técnicas de datos están ganando tracción en toda la industria antes que ningún cliente individual.

“Cada empresa de robots humanoides nos ha pedido estas piezas”, dice Velmurugan, refiriéndose a los datos de tareas cotidianas como apilar fichas o verter líquidos.

A medida que la torre de Jenga cae, Ceja sonríe y reanuda la recolección de datos. La frontera de la IA física sigue construyéndose bloque a bloque, y las ondas cerebrales podrían ser la próxima pieza clave.