El modelo denso de 27 mil millones en dos RTX 3090 en llama.cpp ofrece 32 tokens por segundo desde el primer momento. Intuitivamente, este no es el límite: dos tarjetas de 24 GB y 936 GB/s cada una no deberían producir tanto como una sola. Esto significa que hay un cuello de botella en alguna parte y tenemos que determinar qué apretar y dónde.
Hubo varios cuellos de botella, y todos ellos se eliminan mediante banderas de lanzamiento: el mismo peso: 75 tokens por segundo. Debajo del corte, cada bandera se describe según un esquema: por qué, qué escribir, qué da en números, dónde se rompe y con qué línea en el registro. Al final, una ejecución de Docker lista para usar, tres comprobaciones después de cada cambio de bandera y una lista de lo que no funcionó. El texto se puede entregar en su totalidad a un agente con acceso al servidor; esto es una instrucción, no una historia.
Leer más
|
@habr_ai