Derrotar a OOM en PyTorch: cómo entrenar gráficos gigantes en una tarjeta de video normal

Al entrenar redes neuronales de gráficos e incrustaciones gigantes para millones de nodos, el estándar torch.optim.SparseAdam en PyTorch obstruye instantáneamente la RAM y la VRAM, lo que provoca un error CUDA sin memoria (OOM). En este artículo, veremos cómo está diseñada la biblioteca liviana de código abierto Disk Sparse Adam (DSA), que transfiere estados instantáneos al disco mediante mapeo de memoria (mmap) y le permite entrenar modelos spars enormes en una tarjeta de video doméstica normal.

Leer más

|

@habr_ai