Biblioteca
escrito en Rust, tiene enlaces de Python y se basa en
turbocuántico
, un algoritmo de compresión vectorial que Google describió en un artículo aceptado en ICLR 2026.
La biblioteca en sí no tiene nada que ver con Google; es una implementación independiente del algoritmo de otra persona.
🟡
Turbovec comprime los datos unas ocho veces
Una colección de 10 millones de documentos, que ocupan 31 gigabytes en su formato original, caben en 4. La búsqueda, según el autor, es más rápida que en FAISS, una de las herramientas más habituales en este ámbito.
Según las mediciones, turbovec supera a FAISS en una media de 3,4 a 3,5 veces con compresión de 4 bits y entre un 20 y un 26 % con compresión de 2 bits, dependiendo del hardware.
🟡
Pequeñas cosas convenientes
No es necesario entrenar previamente el índice: los vectores simplemente se agregan a medida que llegan.
El ahorro es incremental, solo lo que ha cambiado desde la última vez va al disco, por lo que incluso en un índice grande tarda milisegundos.
Puede pasar una lista de documentos permitidos a la búsqueda, por ejemplo, para que el usuario solo vea sus propios archivos.
La eliminación funciona mediante identificadores permanentes; Los enlaces a registros no flotan.
Para aquellos que ya están en LangChain, LlamaIndex, Haystack o Agno, el autor sugiere
adaptadores listos para usar
- una línea de importación cambia, el resto del código permanece como estaba.
📌
Licencia: Licencia MIT
🖥
GitHub
@ai_machinelearning_big_data