Los desarrolladores de sistemas de agentes se encuentran en una situación extraña. Los modelos son cada vez más baratos, pero resuelven peor los problemas. Los proveedores compiten para reducir el precio de un token y los equipos cambian felizmente a versiones livianas, ahorrando en cálculos. Los ahorros son obvios, incluso antes del primer encuentro con un problema real.
Sólo más tarde queda claro que el agente del modelo barato realiza tres veces más llamadas a herramientas que del modelo caro. Pierde la capacidad de planificar, comienza a alucinar y a caminar en círculos, preguntando de nuevo y corrigiendo errores con nuevos errores. La factura de los tokens aumenta imperceptiblemente, el tiempo necesario para completar la tarea aumenta y muchas personas empiezan a ponerse nerviosas.
Esta es una historia no solo sobre la codicia de los desarrolladores como tal, sino también sobre cómo y, lo más importante, por qué el mercado de la IA funciona de esta manera y por qué sus próximos ahorros en un modelo pueden convertirse en la inversión oculta más cara en la vida del proyecto.
Leer más
|
@habr_ai