ArnésOpt-Bench

- un punto de referencia que comprueba si el modelo puede mejorar la salud del agente de IA de otra persona.

🟡

mecanica

El modelo optimizador recibe el enlace inicial del agente objetivo, comentarios etiquetados según los resultados de las ejecuciones y un presupuesto fijo.

Ella reescribe el código y al final compila la versión final, que se evalúa según un conjunto de tareas diferidas; el optimizador no lo ve mientras se ejecuta.

Las pruebas se ejecutan en un entorno de ejecución confiable basado en

VerO

- monitorea el presupuesto, oculta los datos pendientes, cuenta los tokens gastados y guarda cada versión para su auditoría.

Esto se hizo para que la protección anti-trampas fuera una propiedad de la zona de pruebas y no una instrucción que el modelo pudiera eludir.

🟡

Resultados

Ejecutamos cinco modelos superiores en cuatro conjuntos (OfficeQA, BrowseComp-Plus, Terminal-Bench y GAIA) para un total de 111 ejecuciones.

Los modelos están claramente separados por niveles, y la elección del modelo en sí afecta el resultado aproximadamente 1,8 veces más que el agente codificador en el que trabaja.

Por delante del Opus-5

, seleccionó alrededor de dos tercios del stock de mejora disponible en OfficeQA y la mitad en BrowseComp-Plus, y en total ganó tres de cuatro tareas.

El entorno nativo del modelo (Сodex para GPT, Сlaude Сode para Claude, Kimi Cli para Kimi) no proporciona una ventaja sostenible.

Por otra parte, Scale AI analizó la dinámica por generación. Para cinco lanzamientos de GPT, el aumento creció monótonamente, de +0,03 a +0,49, para cinco lanzamientos de Claude Opus, de +0,37 a +0,59.

Es importante comprender que esto aún no se puede llamar una verdadera superación personal, ya que un modelo reescribe el entorno de otro agente, cuya prueba inicial se realizó especialmente con un gran margen de optimización.

@ai_machinelearning_big_data