Hoy me gustaría compartir una solución a un problema que seguramente encontrarán los propietarios de procesadores Intel modernos (Alder Lake, Raptor Lake y arquitecturas más nuevas) que ejecutan Windows 11 si intentan "torcer" modelos locales pesados (LLM) o utilizan la virtualización.
Hablaremos del aislamiento forzado del software "pesado" de los núcleos energéticamente eficientes (E-cores) y de la transferencia completa de cálculos a núcleos productivos (P-cores) por parte de Windows 11, que es demasiado intrusivo en este sentido.
Brevemente sobre la esencia del problema usando mi computadora portátil como ejemplo.
Mi computadora portátil tiene un procesador Intel Core i7-13850HX. Este procesador tiene una configuración bastante excelente: 8 núcleos productivos (16 subprocesos) y 12 núcleos energéticamente eficientes (12 subprocesos). Un total de 28 procesadores lógicos.
Tal como lo concibieron Intel y Microsoft, el controlador Thread Director incorporado debe comprender qué tarea y a qué núcleos (procesadores lógicos) debe enviar, pero en la práctica, por ejemplo, el mismo modo de operación híbrido (CPU + GPU) de las redes neuronales locales literalmente pone a Windows 11 en un estupor total con procesos "dispersos" en los núcleos.
Cuando, por ejemplo, ejecuto un modelo local pesado (Qwen 72B que pesa 47 GB) en LM Studio y configuro una transferencia de capa parcial a una tarjeta de video discreta (en mi caso, una RTX 2000 ADA de 8 GB “modesta”), los cálculos se dividen entre VRAM y memoria de acceso aleatorio (RAM).
En tal situación, el trabajo del LLM se divide en dos fases obvias:
Leer más
|
@habr_ai