Ayer amigo

probado

Unsloth Gemma 4 12B Q4_K_XL en una tarjeta con 8 GB de VRAM.

La gente se sorprendió e inmediatamente preguntó: ¿Es posible ejecutar un modelo 25B+ en una tarjeta económica?

Resultó que sí.

Amigo

lanza

localmente enorme

Modelo MoE por 26 mil millones

parámetros en una computadora portátil normal con RTX 4060 de 8 GB y 16 GB de RAM.

¿Qué hay en términos de velocidad?

- estable 20 tokens/s en decodificación;

- la velocidad no disminuye incluso con indicaciones largas;

- le pidió 60k tokens - todavía tiene alrededor de 20 TPS.

Según TTFT no existen los milagros. Primero es necesario procesar un contexto enorme. Pero con una velocidad de precarga de aproximadamente 200 tokens/s, no tienes que esperar mucho y es bastante cómodo de usar.

Y todo ello sin MTP. La razón principal son los nuevos cuantificadores Gemma 4 QAT de Google. Archivo de escalas

pereza gemma-4-26B-A4B-it-qat-UD-Q4_K_XL.gguf

Pesa sólo 13,2 GB, lo que parece casi irreal para un modelo de este tamaño.

El principal secreto es la bandera.

-cmoe

en llama.cpp. Envía los pesos de los expertos de MoE a la RAM y la GPU deja Atención y KV Cache. Como resultado, la VRAM no se llena al máximo de su capacidad y la velocidad permanece estable.

Banderas de lanzamiento:

-m "gemma-4-26B-A4B-it-qat-UD-Q4_K_XL.gguf" -cmoe -c 248000 -v

Una vez iniciado, simplemente abra la interfaz web en localhost y encienda el ícono de la bombilla del nuevo modo de razonamiento en el campo de entrada para observar cómo el modelo realiza un razonamiento de varios pasos.

😒

😒

😒

E integración con Hermes Agent

tomó

literalmente un par de minutos.