El proyecto de optimización de inferencia para modelos de inteligencia artificial, que comenzó como SGLang en 2023 dentro del laboratorio de UC Berkeley de Ion Stoica, cofundador de Databricks, ha dado el salto al mundo comercial con una valoración impresionante.
RadixArk fue recientemente valorada en alrededor de $400 millones en una ronda de financiación liderada por Accel, según fuentes cercanas al asunto. Ying Sheng, una contribuidora clave a SGLang y ex ingeniera de xAI, dejó el startup de IA de Elon Musk para convertirse en cofundadora y CEO de RadixArk, según anunció en LinkedIn el mes pasado. Sheng anteriormente fue científica investigadora en Databricks.
Tanto SGLang como RadixArk se centran en optimizar el procesamiento de inferencia, lo que esencialmente permite que los modelos se ejecuten más rápido y de manera más eficiente en el mismo hardware. Junto con el entrenamiento de modelos, la inferencia representa una gran parte de los costos de servidor asociados con los servicios de IA. Como resultado, las herramientas que optimizan este proceso pueden crear ahorros enormes casi de inmediato.
vLLM, un proyecto más maduro para optimizar la inferencia, también ha transitionado de un proyecto de código abierto a una startup. Se informa que la nueva empresa ha tenido conversaciones para recaudar más de $160 millones en financiación a una valoración de aproximadamente $1 billón. Andreessen Horowitz estaría liderando la inversión, según tres fuentes familiarizadas con el acuerdo.
Al igual que SGLang, vLLM fue incubado en el laboratorio de Ion Stoica en UC Berkeley. Stoica, profesor en UC Berkeley, es el afamado cofundador de Databricks y varias otras startups.
Varias grandes empresas tecnológicas ya ejecutan sus cargas de trabajo de inferencia usando vLLM, y SGLang también ha ganado una popularidad significativa en los últimos seis meses, según Brittany Walker, socia general de CRV.
RadixArk continúa desarrollando SGLang como un motor de modelo de IA de código abierto. La startup también está construyendo Miles, un marco especializado diseñado para el aprendizaje por refuerzo, que permite a las empresas entrenar modelos de IA para volverse más inteligentes con el tiempo.
Mientras que la mayoría de sus herramientas siguen siendo gratuitas, RadixArk ha comenzado a cobrar tarifas por servicios de hosting, según una persona familiarizada con la empresa.
Las startups que proporcionan infraestructura de inferencia para desarrolladores han visto un aumento en la financiación en los últimos meses, subrayando la importancia continua de la capa de inferencia para la IA. Baseten recientemente aseguró $300 millones a una valoración de $5 mil millones, según reportó The Wall Street Journal. Esto sigue a un movimiento similar del rival Fireworks AI, que recaudó $250 millones a una valoración de $4 mil millones el pasado octubre.
El mercado de la inferencia de IA está en plena ebullición, con herramientas como SGLang y vLLM liderando la carrera por la eficiencia y el ahorro de costos.
Estas buscando algo?
Nuestros Programas:
Al Ritmo de Miami Healthy
Aprende qué comer y cómo vivir mejor para elevar tu bienestar.
Despertando con Claudio María Domínguez
Reflexiones de espiritualidad, bienestar y conciencia Claudio María Domínguez
Misterios Ocultos
OVNIs, enigmas históricos y lo inexplicable contado por expertos.
Inmigrar a Miami
Tu puente a los Estados Unidos Te ayudamos a alcanzar tus sueños americanos con soluciones personalizada.
