AMD ROCm 6.0: supporto LLM production-grade e rottura del monopolio NVIDIA
In una frase ROCm 6.0 porta supporto nativo a PyTorch 2.x, hipBLASLt, hipGRAPH e integrazione ufficiale vLLM su GPU AMD Instinct MI300X, permettendo per la prima volta training e serving LLM senza patch manuali.
Per anni, se volevi addestrare o usare un grande modello linguistico, praticamente eri costretto a usare GPU NVIDIA. Non perché le GPU AMD fossero meno potenti in assoluto, ma perché tutto il software — PyTorch, i framework di training, i sistemi di serving — era scritto per funzionare su NVIDIA CUDA. Su AMD funzionava magari il 70%, con bug, crash e settimane di patch manuali.
ROCm è il sistema software di AMD equivalente a CUDA, ma fino alla versione 6.0 era rimasto indietro di anni. Con questa release, AMD ha fatto un salto enorme: PyTorch 2.x funziona nativamente, le librerie matematiche chiave come hipBLASLt sono state riscritte per essere competitive, e — cosa forse più importante — vLLM, il sistema di serving LLM più usato, supporta ufficialmente le GPU AMD.
Questo è importante per due ragioni. Prima, la MI300X ha specifiche tecniche impressionanti — 192 GB di memoria HBM3 per chip, molto più dei 80 GB di H100 — e ora quella memoria è finalmente sfruttabile per i modelli grandi. Seconda, la concorrenza reale abbassa i prezzi e accelera l'innovazione per tutti. Per chi cerca alternative a NVIDIA per motivi di costo o disponibilità, ROCm 6 è il momento in cui AMD è diventata un'opzione seria.
Aziende
AMD
Tool
—
Tag
Fonti