División de IA del fabricante chino de vehículos eléctricos Lixiang

publicado

Trabajo interesante sobre cómo optimizaron un modelo compacto con conocimiento del dominio.

Mach-Mind-4-Flash: el modelo MoE final con 35 mil millones en total, 3 mil millones de parámetros activos basados ​​en Qwen3.5-35B-A3B.

El problema con el que comenzó Li Auto es que si entrenas un modelo con refuerzo a la vez en una combinación de recompensas (matemáticas, código, tareas basadas en agentes), aparece un cambio: una cosa ha mejorado, otra ha caído.

La solución es separar las etapas y áreas de conocimiento. Primero, capacitamos de forma independiente a más de una docena de expertos en RL, cada uno en su propio dominio: matemáticas, código, texto, seguridad, búsqueda y trabajo con herramientas. Cada experto recibió sus propios datos, sus propias recompensas verificables y su propia estrategia de entrenamiento.

Luego viene la parte más interesante: cómo volver a reunir a los expertos en un solo modelo. Para ello utilizamos el método

MOPD

, que fue tomado de Xiaomi.

Esta es una destilación de múltiples maestros en las propias generaciones de estudiantes, donde cada ejemplo de entrenamiento, usando una clave de enrutamiento, va a "su" experto congelado, y él, a través de KL inverso a nivel de token, extrae la distribución del estudiante a la suya.

Los expertos dominaron las habilidades de los agentes en entornos sandbox ejecutables, donde el modelo lee archivos, edita código, ejecuta pruebas, ve errores y continúa tomándolos en cuenta.

Escala de entornos: más de 190 áreas temáticas con estado, más de 3,5 mil interfaces de herramientas, trayectorias de tareas de software de hasta 300 pasos con un contexto de 256 mil tokens.

🟡

¿Funciona la fusión?

Sí y no.

El seguimiento de las instrucciones se mantuvo por completo y en las pruebas comparativas basadas en agentes ClawBench y ClawEval, el modelo final incluso superó a los expertos individuales.

Pero en SWE-bench Verified el resultado cayó de 73,80 para el experto a 71,10 para el modelo.

Se supone que el comportamiento altamente especializado en tareas de codificación largas se ve desdibujado por la destilación.

El toque final -

HMPO

, mecánica propia de Li Auto, que consigue que el modelo no se deje llevar en cadenas de razonamientos.

El presupuesto de duración de CoT se toma de la mediana de las respuestas correctas en el grupo, solo las soluciones correctas y más cortas reciben una recompensa, y la recompensa se obtiene mediante multiplicación (una respuesta corta pero incorrecta recibe un 0 estricto, lo que cierra el vacío legal para piratear la recompensa).

El resultado de HMPO es una reducción en la duración de la generación entre un 19% y un 46% con una pérdida de precisión de no más del 0,7%, y la capacitación se llevó a cabo solo en matemáticas y el efecto se transfirió al código y otras tareas. Es cierto que hasta ahora esto sólo funciona para el razonamiento de un solo paso; todavía tiene que adaptarse a las trayectorias de los agentes de varios pasos.

🟡

Resultados

92,7

en AIME'26, aquí está menos de un punto por detrás del billonésimo Kimi-K2.5;

82,8

en IFBench: primer lugar por amplio margen, el competidor más cercano es Qwen3.5-122B;

75,8

en BFCL-v4: segundo lugar después de MiMo-V2-Flash y mejor que Qwen3.5-122B y Kimi-K2.5.

Podemos decir que los resultados están al nivel de modelos mucho más grandes. Desafortunadamente, se desconocen los planes para publicar el modelo.

, pero quizás lo sintamos en las próximas generaciones de vehículos eléctricos Lixiang.

🟡

arxiv

@ai_machinelearning_big_data