En un contexto donde la infraestructura de IA alcanza proporciones asombrosas, la presión para maximizar la inferencia de los GPUs disponibles es más intensa que nunca. Tensormesh ha salido del sigilo esta semana con una ronda de financiamiento semilla de $4.5 millones, liderada por Laude Ventures y con aportes adicionales de ángeles como el pionero en bases de datos Michael Franklin.
El capital se destinará a desarrollar una versión comercial de la utilidad de código abierto LMCache, creada y mantenida por el cofundador de Tensormesh, Yihua Cheng. Cuando se utiliza correctamente, LMCache puede reducir los costos de inferencia hasta diez veces, lo que la ha convertido en un elemento básico en despliegues de código abierto y ha atraído integraciones de gigantes como Google y Nvidia.
El sistema se centra en el key-value cache (KV cache), una memoria utilizada para procesar entradas complejas de manera más eficiente al condensarlas en sus valores clave. En arquitecturas tradicionales, este cache se descarta después de cada consulta, pero Tensormesh lo retiene, permitiendo su reutilización en consultas similares.
«Es como tener un analista muy inteligente que lee todos los datos, pero olvida lo que ha aprendido después de cada pregunta», explica el cofundador Junchen Jiang.
Al conservar el KV cache en sistemas de almacenamiento secundario y redistribuirlo estratégicamente, Tensormesh logra un aumento significativo en el poder de inferencia sin incrementar la carga del servidor. Esto es especialmente beneficioso para:
Aunque en teoría las empresas de IA podrían implementar estos cambios por sí mismas, la complejidad técnica lo hace desafiante. Juchen Jiang, CEO de Tensormesh, destaca: «Mantener el KV cache en un sistema de almacenamiento secundario y reutilizarlo eficientemente sin ralentizar todo el sistema es un problema muy difícil. Hemos visto empresas contratar a 20 ingenieros y gastar tres o cuatro meses en construir tal sistema. O pueden usar nuestro producto y hacerlo de manera muy eficiente».
Con su diseño modular y enfoque en la tipografía digital para una presentación clara, Tensormesh apuesta a capitalizar su reputación académica y convertirse en un negocio viable, ofreciendo una solución lista para usar que responde a la creciente demanda de optimización en la inferencia de IA.
Estas buscando algo?
Nuestros Programas:
Al Ritmo de Miami Healthy
Aprende qué comer y cómo vivir mejor para elevar tu bienestar.
Despertando con Claudio María Domínguez
Reflexiones de espiritualidad, bienestar y conciencia Claudio María Domínguez
Misterios Ocultos
OVNIs, enigmas históricos y lo inexplicable contado por expertos.
Inmigrar a Miami
Tu puente a los Estados Unidos Te ayudamos a alcanzar tus sueños americanos con soluciones personalizada.
