Durante el post-entrenamiento de LoRA, los adaptadores generalmente se aplican a todas las capas del modelo, aunque la actividad de las diferentes capas durante el procesamiento rápido varía notablemente. Surge la pregunta: ¿es posible elegir capas activas más inteligentes para un tema específico y obtener un aumento de calidad?
Probé la hipótesis en Qwen3-1.7B: reproduje el método del artículo Act-LoRA, agregué mi propia métrica de gradiente, verifiqué estadísticamente la estabilidad de la señal y obtuve un resultado que explica mucho sobre cómo funciona realmente el reentrenamiento de LoRA.
Leer más
|
@habr_ai