Proyecto
kimi-k3-en-c
implementa la inferencia Kimi K3 prácticamente desde cero en el C99 portátil. El punto de control del modelo toma
1,56 TB
, pero el pico de RAM en el lanzamiento fue solo
8,24GB
.
Centrarse en MoE y escalas de transmisión. De 896 expertos, solo se seleccionan 16 para el token y los pesos restantes no tienen que almacenarse permanentemente en la RAM. Una gran parte del modelo se lee directamente desde el disco, con un caché LRU experto ejecutándose encima.
El coste de semejante truco es obvio: la velocidad. Con 8 GB de RAM el autor recibió aproximadamente
26,5 segundos por ficha
, con 64 GB ya son 19,8 segundos, y en una máquina con 128+ GB, donde los datos necesarios caben en la memoria, unos 5,6 segundos.
Esto resulta ser un interesante cambio en la limitación: el gigante MoE ya puede funcionar sin una granja de servidores. La pregunta ahora es más bien
¿Cuánto disco y tiempo por token estás dispuesto a dar para tal inferencia?
.
github.com/FareedKhan-dev/kimi-k3-in-c