El trabajo se presentó en ICML 2026. Los investigadores compararon métodos de reentrenamiento para modelos de lenguaje grandes que aprenden de pares de respuestas preparados previamente y demostraron que las diferencias entre los métodos de reentrenamiento modernos están determinadas por el tipo de clasificación de las respuestas: por pares o por puntos.
🟡
¿Qué ofrecieron exactamente?
Para que las comparaciones sean justas, los investigadores reunieron los diferentes métodos en un único protocolo de evaluación. Además, se introdujo en los métodos el parámetro β: regula la potencia del entrenamiento adicional según las preferencias humanas y permite una comparación más objetiva de los métodos entre sí.
🟡
"Hemos demostrado que tales comparaciones no siempre son correctas y el resultado puede depender, entre otras cosas, de las condiciones experimentales, la cantidad de datos o las etapas del entrenamiento. Propusimos un enfoque unificado que nos permite comparar métodos en las mismas condiciones y comprender qué factores realmente afectan la calidad", dijo Daniil Gavrilov, jefe del laboratorio T-Technology.
🟡
Resultados de la comparación
El estudio encontró que muchos de los supuestos beneficios de los algoritmos de clasificación se están erosionando y el principal factor de calidad sigue siendo el tipo de clasificación de las respuestas.
Los métodos en los que el modelo compara dos respuestas directamente (por pares) a menudo muestran mejores resultados en problemas de complejidad promedio que los enfoques en los que las respuestas se evalúan por separado (por puntos).
🟡
¿Qué se utilizó en el trabajo?
En su trabajo, los científicos utilizaron los modelos Llama 3.2 3B, Llama 3.1 8B, Mistral 7B, Qwen 2.5 7B y Qwen 2.5 14B. La capacitación se realizó con datos de Reddit TL;DR, UltraChat y UltraFeedback, y la calidad se evaluó en AlpacaEval 2, ArenaHard, comparaciones por pares de respuestas utilizando un modelo más sólido y puntos de referencia matemáticos.
🟡
Artículo
@ai_machinelearning_big_data