La línea incluye tres modelos de diferentes tamaños: 480M, 3B y 10B-A1.8B. Convierten textos en vectores numéricos para búsqueda semántica, construyendo sistemas RAG (Recuperación-Generación Aumentada), clasificación y agrupación.
El equipo de desarrollo rediseñó el modelo para permitir una integración más sencilla con herramientas estándar de código abierto. En vLLM, GigaEmbeddings 3B es 1,6 veces más rápido que la versión anterior y 10B-A1.8B es 2 veces más rápido.
El volumen de datos de entrenamiento ha aumentado varias veces. En particular, gracias a los conjuntos de datos abiertos Nemotron, F2LLM y KALM.
Se utilizó la fusión de expertos en todas las etapas para mantener el equilibrio del idioma. El modelo más pequeño se entrenó mediante destilación: aprendió las respuestas de modelos más grandes y precisos.
Según los resultados de la prueba, 10B-A1.8B clasificado
primero
lugar
en la calificación ruMTEB
. Para el modelo 3B, la calidad del procesamiento del código aumentó en 14,5 puntos. Al mismo tiempo, el modelo 480M más compacto se convirtió en el mejor en Rusia entre las soluciones con hasta 500 millones de parámetros.
Busque pesos con licencia del MIT en GitVerse y HuggingFace.
Los modelos están disponibles de forma gratuita para desarrolladores y empresas bajo una licencia abierta del MIT:
frecuencia cardíaca:
480M
|
3B
|
10B-A1.8B
Gitverso:
480M
|
3B
|
10B-A1.8B
Leer más detalles
en la publicación del equipo
↖️