En progreso
“Los agentes de IA no fallan solos: el contexto falla primero”
Los investigadores han demostrado que el entorno puede predecir el fracaso futuro de un agente incluso antes de que se complete la tarea.
La razón se encuentra a menudo en lo que le dieron:
- rol e instrucciones vagas
- herramientas mal descritas
- no hay suficientes hechos y pruebas
- reglas contradictorias
- memoria débil
- restricciones protectoras vulnerables
- contexto asignado sin éxito
Los autores evaluaron el entorno del agente por separado de su resultado final. Por lo tanto, la métrica no adivina el comportamiento a partir de la respuesta, sino que mide la calidad de las condiciones en las que opera el sistema.
Más de 300 pruebas y 7500 pasos, los mismos modelos fijos mejoraron significativamente los resultados después de pasar de un contexto caótico a uno estructurado.
Más pruebas redujeron el número de alucinaciones. Las descripciones claras de las herramientas mejoraron el uso de las mismas. Las fuertes barandillas aumentaron la resistencia a la manipulación.
Pero surgió una compensación: los agentes sobreprotegidos a veces se volvían demasiado cautelosos y se desempeñaban peor en tareas rutinarias.
Antes de cambiar el modelo, conviene comprobar las indicaciones, las herramientas, la memoria, la base de datos y las reglas de seguridad.