Ayer amigo

probado

Unsloth Gemma 4 12B Q4_K_XL en una tarjeta con 8 GB de VRAM.

La gente se sorprendió e inmediatamente preguntó: ¿Es posible ejecutar un modelo 25B+ en una tarjeta económica?

Resultó que sí.

Amigo

lanza

localmente enorme

Modelo MoE por 26 mil millones

parámetros en una computadora portátil normal con RTX 4060 de 8 GB y 16 GB de RAM.

¿Qué hay en términos de velocidad?

- estable 20 tokens/s en decodificación;

- la velocidad no disminuye incluso con indicaciones largas;

- le pidió 60.000 tokens - todavía tiene alrededor de 20 TPS.

Según TTFT no existen los milagros. Primero es necesario procesar una gran cantidad de contexto. Pero con una velocidad de precarga de aproximadamente 200 tokens/s, no tienes que esperar mucho y es bastante cómodo de usar.

Y todo ello sin MTP. La razón principal son los nuevos cuantificadores Gemma 4 QAT de Google. Archivo de escalas

pereza gemma-4-26B-A4B-it-qat-UD-Q4_K_XL.gguf

Pesa sólo 13,2 GB, lo que parece casi irreal para un modelo de este tamaño.

El principal secreto es la bandera.

-cmoe

en llama.cpp. Envía los pesos de los expertos de MoE a la RAM y la GPU deja Atención y KV Cache. Como resultado, la VRAM no se llena al máximo de su capacidad y la velocidad permanece estable.

Banderas de lanzamiento:

-m "gemma-4-26B-A4B-it-qat-UD-Q4_K_XL.gguf" -cmoe -c 248000 -v

Una vez iniciado, simplemente abra la interfaz web en localhost y encienda el ícono de la bombilla del nuevo modo de razonamiento en el campo de entrada para observar cómo el modelo realiza un razonamiento de varios pasos.

😒

😒

😒

E integración con Hermes Agent

tomó

literalmente un par de minutos.