El proyecto simplifica el ajuste fino y el entrenamiento posterior de modelos a un esquema: una configuración YAML → un comando.
Lo más interesante:
- puedes volver a entrenar el modelo 8B incluso en una computadora portátil con 4 GB de VRAM
- la transmisión de capas alimenta las capas del modelo a la GPU una a la vez
- funciona con QLoRA y GPU locales
- selecciona automáticamente el tamaño del lote, el dispositivo y la cuantificación
- hay DPO, ORPO, SimPO y KTO
- sin SSH e infraestructura de nube separada
En una computadora portátil RTX 3050 de 4 GB, los autores ejecutaron Llama 3.1 8B Instruct con un consumo máximo de aproximadamente 3,32 GB de VRAM.