En el entorno de prueba oficial, el modelo obtuvo una puntuación

13,3%

. Después de habilitar dos funciones de la API de Responses, el resultado aumentó a

38,3%

, y el consumo de tokens de salida disminuyó aproximadamente

6 veces

.

OpenAI estima el resultado promedio de una persona en las mismas tareas públicas en

48%

.

Qué ha cambiado:

1. Razonamiento preservado entre acciones.

Anteriormente, después de cada movimiento, el agente perdía los patrones que encontraba y esencialmente tenía que resolver el juego nuevamente.

2. Se reemplazó el recorte histórico con compactación.

En lugar de eliminar acciones antiguas, se comprimió el contexto largo, preservando observaciones importantes y la estrategia elegida.

Como resultado, el agente:

- tomó decisiones más rápido;

- trabajos ya realizados que se repiten con menor frecuencia;

- aprendió mejor a medida que avanzaba el juego;

- Gasté significativamente menos tokens.

El resultado final depende no sólo del modelo. Juega un papel importante

API, gestión de contexto, dispositivo de arnés de prueba y aviso

.

OpenAI recomienda utilizar la API de Respuestas, guardar el razonamiento entre llamadas y permitir la compactación para sesiones largas.

https://openai.com/index/how-two-settings-tripled-our-arc-agi-3-scores/