La nueva cuantificación MIX-STQ1_0 selecciona la profundidad de bits por separado para cada capa en función de los datos de calibración:
- algunas capas están comprimidas a 1,31 bits
- parte permanece alrededor de 2,06 bits
- con el mismo tamaño el error es menor
Resultados contra BF16:
- Atlas MCP: 83,7 → 83,2
- SWE-Banco múltiple: 82,9 → 81,3
- MRCR: 81,3 → 81,1
- IFBench: 73,5 → 72,5
Es decir, el modelo se ha vuelto aproximadamente 7,5 veces más pequeño y la calidad en las pruebas ha cambiado bastante.
GGUF: