Mirai Lidera la Revolución de la IA en Dispositivos con Motor de Inferencia Optimizado

El Enfoque en la IA On-Device: Una Respuesta a los Costos de la Nube

Mientras gran parte de la conversación sobre inteligencia artificial se centra en la construcción de capacidad en la nube y centros de datos masivos, una startup londinense está cambiando el paradigma. Mirai, con un equipo técnico de 14 personas, está trabajando para mejorar cómo los modelos de AI funcionan en teléfonos y laptops, ofreciendo una alternativa eficiente y económica.

Los Fundadores: Experiencia en Apps Virales de IA

La compañía fue fundada el año pasado por Dima Shevts y Alexey Moiseenkov, ambos con una trayectoria impresionante en el desarrollo de aplicaciones consumer escalables. Shevts es cofundador de la app de intercambio de rostros Reface, respaldada por a16z, y luego se convirtió en scout para esa firma de venture. Moiseenkov fue CEO y cofundador de Prisma, la aplicación de filtros AI viral de la década pasada.

«Cuando nos reunimos en Londres, empezamos a hablar de tecnología y nos dimos cuenta de que, dentro del hype de la AI generativa y su adopción, todos hablan de la nube, de servidores, de la AGI. Pero la pieza que falta es la IA en el dispositivo para el hardware consumer», explicó Shevts.

Tecnología de Vanguardia: Motor de Inferencia y SDK Modular

Mirai está desarrollando un framework que permite a los modelos desempeñarse mejor en dispositivos. Han construido un motor de inferencia para Apple Silicon que optimiza el rendimiento on-device. Con su próximo SDK, los desarrolladores podrán integrar el runtime en sus apps con solo unas pocas líneas de código.

Este motor, construido en Rust, puede aumentar la velocidad de generación de un modelo hasta en un 37%, según afirman. Además, la compañía asegura que no modifica los pesos del modelo, garantizando que no haya pérdida en la calidad de la salida.

El diseño modular del SDK permite una integración sencilla, similar a la experiencia de Stripe, donde con pocas líneas de código se pueden habilitar tareas como resumen, clasificación u otros casos de uso. Este enfoque también optimiza el procesamiento de tipografía digital en modelos de texto, mejorando la experiencia del usuario final.

Expansión y Futuro: Texto, Voz y Visión

Actualmente, la pila de Mirai se centra en mejorar las modalidades de texto y voz, con planes para soportar visión en el futuro. El equipo ya está trabajando con proveedores de modelos frontier para ajustar sus modelos para uso en el edge y está en conversaciones con diferentes fabricantes de chips. Posteriormente, planean llevar su motor a Android.

Además, Mirai tiene como objetivo lanzar benchmarks on-device para que los creadores de modelos puedan probar el rendimiento. Reconociendo que no todo el trabajo de AI puede hacerse en el dispositivo, el equipo está construyendo una capa de orquestación para enviar solicitudes que no puedan cumplirse localmente a la nube, permitiendo un modo de operación mixto.

Financiación y Visión de los Inversionistas

Mirai está respaldada por una ronda de semilla de $10 millones liderada por Uncork Capital, con participación de destacados individuos como David Singleton (CEO de Dreamer), Francois Chaubard (Socio de YC), Marcin Żukowski (cofundador de Snowflake), y otros.

«Dados los costos de inferencia en la nube, algo tiene que cambiar… En algún momento, la gente se enfocará en la economía subyacente de estos negocios y se dará cuenta de que algo debe cambiar», comentó Andy McLoughlin, socio gerente de Uncork Capital. «Parece que cada creador de modelos querrá ejecutar parte de sus cargas de trabajo de inferencia en el edge, y Mirai está muy bien posicionada para capturar esta demanda».

Aunque la startup aún no trabaja directamente con aplicaciones, su motor podría potenciar asistentes on-device, transcriptores, traductores y apps de chat, marcando el comienzo de una nueva era en la inteligencia artificial accesible y eficiente.