Investigadores de Ai2, CMU y la Universidad de Washington entrenaron 26 modelos comparables con parámetros 7B. Los datos, el tokenizador y el método para ampliar el contexto quedaron igual; Solo se cambiaron cuatro soluciones arquitectónicas: normalización QK, GQA, atención de ventana deslizante y la longitud del contexto en la etapa de preentrenamiento.
Tomados individualmente, casi cada cambio causó muy poco daño. Pero en conjunto el efecto aumentó considerablemente.
En HELMET con un contexto de 32K, los resultados del modelo variaron de 56,4 a 29,9 puntos, aunque en pruebas de evaluación cortas ordinarias la diferencia casi no fue visible. En las peores configuraciones la caída alcanzó el 47%.
La propia SWA dio un ligero inconveniente, pero además de GQA la reducción se hizo mucho más fuerte.
Las restricciones arquitectónicas impuestas durante el preentrenamiento continuaron influyendo en los resultados después de que se amplió la ventana.
No basta con mirar únicamente las pérdidas y los puntos de referencia cortos. La arquitectura debe probarse en un contexto prolongado en los primeros puntos de control; de lo contrario, el problema puede descubrirse después de enormes costos de capacitación.
Los investigadores dedicaron más de 170.000 horas de GPU a experimentos y abrieron los 26 modelos como un conjunto OlmPool.
Papel:
arxiv.org/abs/2608.10296