Un usuario, Claude, afirma haber ejecutado más de mil millones de tokens de entrada a través del modelo. Otro dejó al agente de IA desatendido y contó unos 6.000 dólares en gastos. Se pueden discutir las cifras de Reddit, pero el mecanismo detrás de ellas es muy real.
Analicé por qué una solicitud corta dentro de un chat largo puede no ser corta en absoluto para LLM, qué sucede cuando el contexto crece a cientos de miles de tokens, por qué se necesita un almacenamiento en caché rápido y por qué una ventana de contexto grande a veces empeora las respuestas, en lugar de mejorarlas.
Y al mismo tiempo, recopilé varias formas de reducir el consumo de tokens sin buscar inútilmente cada palabra en el mensaje.
Tratar con fichas
|
@habr_ai