En Hugging Face apareció una compilación especial de GGUF DeepSeek-V4-Flash-0731 para computadoras Apple Silicon con 128 GB de memoria combinada.

El modelo oficial contiene 304 mil millones de parámetros y admite un contexto de hasta 1 millón de tokens. Después de una cuantificación mixta de 2 y 4 bits, el archivo ocupa 97,6 GB.

Las capas sensibles, la atención y los expertos en general se conservan con mayor precisión, y la mayor parte de los expertos del MoE se comprime de forma más agresiva.

Se utiliza un motor especializado para ejecutar

ds4/Estrella Enana

:

clon de git https://github.com/antirez/ds4

cd ds4

hacer

./ds4 -m gguf/DeepSeek-V4-Flash-0731-....gguf \

-p "Escribir un caché distribuido en Go"

Este es un GGUF personalizado. No se cargará en Ollama, LM Studio o llama.cpp debido a la estructura especial del tensor y al esquema de cuantización.

El modelo de nivel de clúster de servidores grandes pudo caber completamente en la memoria de una Mac potente. Lento y exigente con el hardware, pero completamente local.

Modelo:

https://huggingface.co/ox-ox/DeepSeek-V4-Flash-0731-gguf-ds4