Estoy sentado en una demostración con un cliente potencial. Muestro al agente en acción: el usuario pregunta "cómo configurar la integración con un sistema ITSM", el agente realiza cuatro iteraciones: búsqueda semántica, un OpenChunk, búsqueda de texto del término exacto, síntesis de la respuesta con enlaces. El cliente asiente y luego su director técnico toma la palabra: "¿No sería más sencillo tener una sola solicitud de RAG? Un desafío de LLM es más barato que veinte".
Formalmente sí. Una llamada de asistente es 1 × LLM. Agente: hasta 20 × LLM. ¿Entonces el agente es 20 veces más caro?
No. Y he aquí por qué.
¿Por qué?
|
@habr_ai