Para aquellos que tienen o planean realizar un LLM dentro del circuito: jefes de equipo, DevOps, arquitectos. Aquí hay configuraciones, números y rastrillos, y no una introducción a los transformadores.
Lo que te llevarás: el historial de cinco configuraciones sucesivas con lo que dio y costó cada una; conjunto funcional de indicadores vLLM para una tarjeta Blackwell; tres errores no obvios y soluciones alternativas; análisis de una cuenta real con una relación entrada/salida de 452:1.
La conclusión principal, si no tiene tiempo para seguir leyendo: en la carga del agente, el caché de prefijo decide más que la elección del modelo, el tamaño de la tarjeta y todo lo demás combinado. Llegamos a este punto a través de cuatro rodales intermedios y pasamos meses extra porque no entendíamos lo que estábamos midiendo.
Leer más
|
@habr_ai