Cuando los desarrolladores tienen un trabajo en particular que la inteligencia artificial puede resolver, normalmente no es tan simple como simplemente señalar un LLM a los datos. Hay otras consideraciones como el costo, la velocidad y la precisión, y encontrar formas de equilibrar todo eso ha sido particularmente desafiante, especialmente con tantos modelos nuevos apareciendo constantemente en línea.

Entra Unify, una startup británica de un exalumno del Imperial College, que ha creado una herramienta de enrutamiento que permite a los desarrolladores ingresar parámetros y encontrar el mejor LLM para sus requerimientos únicos, sean cuales sean. El miércoles, la empresa anunció una inversión de $8 millones.

“El objetivo principal de Unify es descubrir qué modelos de qué proveedores son los mejores para tu tarea mediante benchmarks objetivos y paneles que te permiten compararlos”, dijo el fundador y CEO de la empresa, Daniel Lenton, a TechCrunch.

“El enrutador es efectivamente una extensión natural de este proceso, especialmente a medida que las empresas comienzan a implementar a gran escala, y la velocidad y el costo se vuelven más importantes. Entonces lo que realmente estamos intentando hacer es dar a las personas mucho más control sobre la calidad, el costo y el perfil de velocidad de sus aplicaciones LLM”, dijo Lenton.

No es sorprendente que Unify utilice inteligencia artificial para ejecutar la aplicación principal del enrutador. “Nuestro enrutador en sí es una red neuronal aprendida. Por lo tanto, aprende qué modelos son mejores para realizar qué tareas”, dijo. La empresa hace esto ejecutando benchmarks exhaustivos en cada nuevo modelo en todas estas tareas utilizando GPT Pro como juez. A partir de esto, el sistema aprende qué tan bien estaba haciendo este modelo ciertas tareas en sus conjuntos de entrenamiento.

“Entonces, muy rápidamente cualquier nuevo proveedor de modelos es compatible con el enrutador, básicamente un día o dos después”, dijo.

Lenton dice que el enrutador, y cómo han construido un modelo único para entrenarlo, es en sí mismo una forma de defender lo que su startup está haciendo de la invasión de los grandes jugadores, y el hecho de que son neutrales, y es posible que los hiperescaladores no lo sean.

Dijo que típicamente los clientes solo están experimentando con diferentes modelos y no tienen una herramienta para rastrear cuál es el mejor.

“Hay personas que tienen problemas apremiantes que están dispuestas a probar una solución existente. Así que creo que así es como hemos logrado poner un pie en la puerta”, dijo.

Aunque hay competidores como Martian Router, OpenRouter y Portkey, Lenton dice que su empresa es la única que optimiza conjuntamente la calidad, el costo y la velocidad.

La empresa es pequeña en este momento, con siete empleados, y Lenton la mantiene intencionalmente ágil mientras trabaja en poner un producto completamente monetizado en el mercado. El plan es agregar tres empleados adicionales este año.

Reporta alrededor de 3000 registros hasta ahora con unos cientos de usuarios regulares. Esperan ganar dinero al cobrar a las empresas por construir sus propios benchmarks personalizados. Cada empresa puede comenzar con la herramienta con un crédito de $50.

La inversión de $8 millones provino de una serie de inversores, incluidos SignalFire, M12, J12, Essence VC, A. Capital, Lunar VC, Y Combinator y un grupo de prominentes ángeles de la industria.