Artículo de Sakana
Desenmascarartenedor
, aceptado en ICML 2026, propone una nueva forma de escalar el cálculo durante la inferencia para modelos de lenguaje de difusión enmascarados.
Los LLM convencionales generan texto secuencialmente, token por token. Los modelos de difusión enmascarada comienzan con texto completamente oculto y gradualmente restauran partes del mismo, pudiendo llenar varios fragmentos en paralelo.
Pero el enfoque habitual para escalar el tiempo de prueba (aumentar la temperatura y generar muchas respuestas diferentes) no funciona de manera muy efectiva para tales modelos.
UnMaskFork resuelve el problema de manera diferente:
- varios modelos de difusión funcionan sobre una respuesta;
- cada uno, por turno, revela aquellas áreas en las que tiene más confianza;
- el resultado intermedio se transfiere al siguiente modelo;
- La búsqueda de árboles de Monte Carlo selecciona la secuencia de acciones más prometedora.
La diversidad no se crea por casualidad, sino cambiando entre modelos con diferentes fortalezas.
En experimentos, el enfoque mejoró los resultados de Dream-Coder en tareas de programación y mostró un aumento constante en la calidad de los puntos de referencia matemáticos a medida que aumentaban los cálculos durante la inferencia.
En este caso, UnMaskFork:
- no requiere formación adicional;
- no cambia la arquitectura interna de los modelos;
- funciona como un algoritmo de coordinación independiente;
- le permite combinar modelos entrenados con diferentes datos y utilizando diferentes métodos.
El trabajo continúa la investigación de Sakana AI en el campo de los modelos de “inteligencia colectiva”, sistemas donde el resultado no se logra mediante un gran LLM, sino mediante la coordinación de varios modelos diferentes.
Blog
:
Artículo
: