En algún momento, dejé de confiar en la frase "hecho" del modelo de lenguaje.
La modelo no miente: honestamente cree que hizo el trabajo. Ella escribe "implementado, las pruebas pasan", y la mayoría de las veces así es. El problema ocurre en otros casos, cuando el modelo corrigió una de cada cuatro llamadas, aceptó su propio plan como trabajo completado y cerró la tarea. El diálogo parece impecable hasta el final.
Probé el conjunto habitual: escribí difundiendo
CLAUDE.md
, exigió un plan antes del código, solicitó una autoprueba. Todo se mantuvo estable hasta que se volvió incómodo. Una regla escrita con palabras es violada por un agente en el momento en que tiene una razón aparentemente razonable para eludirla, y esa razón siempre se encuentra.
No tuve que buscar un sistema de control ya preparado. Antes de que ExxonMobil abandonara Rusia, trabajé allí como analista de respuesta a emergencias, y ICS era una herramienta de trabajo diaria en este rol: completé muchas capacitaciones al respecto, incluido el nivel Avanzado, y trabajé como facilitador para el IMT, Equipo de Gestión de Incidentes. A partir de ahí surgió la idea de llevar a ICS al desarrollo.
Leer más
|
@habr_ai