PrismML tomó el modelo de clase.
27B
y lo apretó a través
Cuantización de 1 bit
: acerca de
54GB
hasta
3,8–3,9 GB
.
Se afirma que con tal compresión el modelo retiene aproximadamente
90% calidad
originales. Este ya es un tamaño con el que se puede pensar no sólo en servidores, sino también en portátiles, navegadores y teléfonos inteligentes.
También hay una versión mejor.
Bonsái Ternario 27B
: acerca de
5,9GB
y hasta
95% calidad
línea de base.
El modelo admite multimodalidad, razonamiento, codificación, llamada de herramientas y scripts basados en agentes. Es decir, no se trata sólo de un chat local, sino de una base para los agentes locales de IA.
Ya se ha realizado una demostración de WebGPU para Bonsai: los núcleos personalizados le permiten ejecutar el modelo directamente en el navegador. Según Xenova, parte del código WebGPU ayudó a escribir Fable 5 y GPT 5.6 Sol.
colección de alta frecuencia
:
https://huggingface.co/collections/prism-ml/bonsai-27b
Demostración de WebGPU
:
https://huggingface.co/spaces/webml-community/bonsai-webgpu-kernels
@ai_machinelearning_big_data