En resumen, desde K2

arquitectura k3

diferente en casi todo.

🟡

Atención

En K2, todas las capas (61) operaron con el mismo mecanismo, MLA. Hay 93 capas en K3 y están ensambladas en bloques: 3 capas KDA y un MLA global, para un total de 69 y 24.

KDA comprime el texto anterior en un estado de tamaño fijo, por lo que la longitud del diálogo deja de inflar el caché.

No hay etiquetas posicionales explícitas en el modelo y se extiende a un millón de tokens sin los trucos habituales como reconfigurar RoPE.

🟡

Conexiones residuales

Por lo general, una capa recibe todo lo acumulado por las capas anteriores en una sola suma.

Los residuos de atención permiten que cada capa elija de qué bloques iniciales tomar información. Las 93 capas de K3 se dividen en 8 bloques de 12.

🟡

Ministerio de Educación

Ahora hay 896 expertos enrutados versus 384 para K2, 16 se activan por token en lugar de 8 y ahora hay 2 expertos compartidos en lugar de uno.

Se cuentan en un espacio latente dos veces más estrecho que el principal, y el resultado se devuelve al flujo general.

La función de activación de SwiGLU fue reemplazada por SiTU-GLU, el esquema de equilibrio de carga fue reemplazado por Quantile Balancing.

Moonshot estima que su beneficio general será aproximadamente 2,5 veces la eficiencia de escalado.

🟡

Habilidades del agente

No fue tanto el hardware lo que jugó un papel importante aquí, sino la formación adicional. Se entrenaron por separado 3 especializaciones (tareas generales, agentes, código), cada una en tres niveles de razonamiento, y los 9 modelos resultantes se fusionaron en uno.

Los episodios de capacitación individuales abarcan hasta miles de llamadas a herramientas, y el estado de los archivos, aplicaciones y máquinas virtuales se conserva entre pasos.

🖥

GitHub

@ai_machinelearning_big_data