Con la llegada de las redes neuronales, ahora es posible resolver problemas mucho más fácilmente, aunque tal problema no habría surgido sin las redes neuronales, llama.cpp y huggingface. En general, el objetivo del artículo es intentar calcular matemáticamente la velocidad teórica de generación de tokens en el programa llama.cpp para modelos en hugginface, simplemente abriendo la tarjeta del modelo y haciendo clic en el marcador (bookmarklet).
Hay bastantes calculadoras de este tipo en Internet y no hay ideas nuevas en esta calculadora, funciona como todas las demás: calcula la velocidad en función del ancho de banda de la memoria de video del usuario. Pero resultó que simplemente dividir un número por otro (el peso del modelo por el rendimiento de la tarjeta de video) no es del todo correcto; Cuando dije que en la vida real tengo una velocidad diferente, las neuronas comenzaron a introducir un factor de corrección en forma de eficiencia de la tarjeta de video (60-80%).
Leer más
|
@habr_ai