El acelerador de gráficos NVIDIA RTX PRO 6000 Blackwell Server Edition, en comparación con el H100 más común, es interesante principalmente por su soporte de hardware para NVFP4, un formato de peso de cuatro bits con escala de dos niveles, introducido en 2025. ¿Cómo afecta la transición de los modelos a la cuantificación NVFP4 al rendimiento? Teniendo en cuenta esta transición, ¿cuáles y bajo qué perfiles de carga serán preferibles: el acelerador de la nueva familia Blackwell o el viejo y familiar H100?
Mi nombre es Alexey, soy ingeniero de desarrollo de software de inteligencia artificial en YADRO. Durante el transcurso del artículo recibiré respuestas detalladas a estas preguntas y me ayudarán con esto.
YADRO G4208P G3
– servidores de alto rendimiento para tareas de inteligencia artificial, aprendizaje automático y análisis profundo. Instalaré cuatro RTX PRO 6000 en uno de esos servidores y ocho H100 NVL en otro. Evaluaré modelos de varios tamaños y arquitecturas: Qwen3.6-27B (denso), Qwen3.6-35B-A3B (MoE) en formatos FP8 y NVFP4, así como DeepSeek-V4-Flash en formatos mixtos FP4 y NVFP4. Utilizo vLLM en escenarios fuera de línea y de servidor (vLLM 0.23.0 para Qwen, vLLM 0.26 para DeepSeek-V4-Flash), así como Docker-image basado en nvidia/cuda:13.2.0-cudnndevel-ubuntu22.04.
Leer más
|
@habr_ai