La idea es una decodificación especulativa: un modelo pequeño con aproximadamente 300 millones de parámetros ofrece varios tokens por adelantado y el modelo principal verifica todo el bloque de una sola vez.
En H100 LFM2.5-8B-A1B en MATH500 aceleró de 428 a 1362 tokens/s - 3,18 veces.
En una MacBook Pro con M4 Max LFM2.5-1.2B-Instruct en HumanEval: de 136 a 389 tokens/s, casi 2,9 veces.
Para el LFM2.5-2.6B, la aceleración media fue de 2,67× en el H100 y de 2,27× en el M4 Max.
En escenarios BFCL con múltiples llamadas a herramientas, DSpark redujo casi a la mitad la latencia promedio de LFM2.5-2.6B.
Con la decodificación codiciosa, el resultado sigue siendo idéntico al de la generación convencional, por lo que acelerar no cambia la precisión del modelo.
Los puntos de control ya se han publicado en Hugging Face, el soporte llegará a llama.cpp y SGLang.
Leer más:
http://liquid.ai/blog/lfm2.5-dspark
> LiquidAI/LFM2.5-1.2B-Instruct-DSpark:
http://huggingface.co/LiquidAI/LFM2.5-1.2B-Instruct-DSpark
> LíquidoAI/LFM2.5-2.6B-DSpark:
http://huggingface.co/LiquidAI/LFM2.5-2.6B-DSpark
> LíquidoAI/LFM2.5-8B-A1B-DSpark:
http://huggingface.co/LiquidAI/LFM2.5-8B-A1B-DSpark
> Idioma SGL:
https://github.com/sgl-project/sglang/pull/31041
>llama.cpp: