Probando la teoría de mejorar el resultado del ajuste fino de LoRA en capas "inteligentes"
Durante el post-entrenamiento de LoRA, los adaptadores generalmente se aplican a todas las capas del modelo, aunque la actividad de las diferentes capas durante el procesamiento rápido varía notablemente. Surge...
Leer más →