Cualquier esfera
publicado
informe sobre un experimento en el que a un grupo de agentes se les asignó la tarea de implementar todo el contenido del manual SQLite de 835 páginas en Rust.
Según Cursor, se cerró el código fuente del DBMS, sus ensamblajes listos para usar, los conjuntos de pruebas y el acceso a Internet para los agentes.
🟡
Había cuatro configuraciones.
En dos de ellos, el mismo modelo planificó y realizó el trabajo: GPT-5.5 y Grok 4.5. En el resto la planificación la hizo Opus 4.8 o Fable 5, y la ejecución se la dio a nuestro propio Composer 2.5.
Finalmente, todas las configuraciones superaron el conjunto de pruebas en su totalidad.
La calidad se midió por conjunto
prueba sqllogic
del proyecto SQLite, que compara las respuestas de diferentes motores a las mismas consultas.
Los agentes no fueron informados de la existencia de este conjunto. Después de cada ejecución, Cursor verificó manualmente que el código se ajustara a las pruebas y si el sistema estaba construido de manera uniforme.
Código de lanzamiento en solitario de Opus 4.8
publicado
en GitHub.
🟡
Difusión de dinero
La combinación más barata fue Opus 4.8 con Composer 2.5: $1339, la más cara fue trabajar solo con GPT-5.5: $10,565.
Las dos configuraciones restantes cuestan 1,9 mil dólares (Grok 4.5) y 2,2 mil dólares (híbrido con Fable 5).
Además, Cursor ejecutó Opus 4.8 y Fable 5 individualmente - por $5153 y
$20,057
, pero estos lanzamientos se evaluaron de manera informal y no se incluyeron en la comparación de calidad.
Del experimento, Cursor concluye que se necesita un modelo superior en ciertas etapas: durante la descomposición inicial del problema y la toma de decisiones de diseño, y luego las instrucciones se pueden llevar a cabo mediante un modelo más económico.
🟡
Hecho del fan
Se esperaba utilizar GPT-5.6 Sol como una de las configuraciones, pero el modelo resultó ser sensible a formulaciones literales y entró en ciclos incontrolados. Lo abandonaron: no hubo tiempo para reescribir las indicaciones.
@ai_machinelearning_big_data