En el entorno de prueba oficial, el modelo obtuvo una puntuación
13,3%
. Después de habilitar dos funciones de la API de Responses, el resultado aumentó a
38,3%
, y el consumo de tokens de salida disminuyó aproximadamente
6 veces
.
OpenAI estima el resultado promedio de una persona en las mismas tareas públicas en
48%
.
Qué ha cambiado:
1. Razonamiento preservado entre acciones.
Anteriormente, después de cada movimiento, el agente perdía los patrones que encontraba y esencialmente tenía que resolver el juego nuevamente.
2. Se reemplazó el recorte histórico con compactación.
En lugar de eliminar acciones antiguas, se comprimió el contexto largo, preservando observaciones importantes y la estrategia elegida.
Como resultado, el agente:
- tomó decisiones más rápido;
- trabajos ya realizados que se repiten con menor frecuencia;
- aprendió mejor a medida que avanzaba el juego;
- Gasté significativamente menos tokens.
El resultado final depende no sólo del modelo. Juega un papel importante
API, gestión de contexto, dispositivo de arnés de prueba y aviso
.
OpenAI recomienda utilizar la API de Respuestas, guardar el razonamiento entre llamadas y permitir la compactación para sesiones largas.
https://openai.com/index/how-two-settings-tripled-our-arc-agi-3-scores/