AMD MI350 Instinct: 288GB HBM3e e 1.5 PFLOPS FP8 sfidano NVIDIA nei datacenter

Immagina di dover allenare un modello di intelligenza artificiale enorme, come quelli che stanno dietro a ChatGPT o ai grandi assistenti vocali. Quella operazione richiede una quantita astronomica di calcoli in parallelo, e per farlo servono schede grafiche specializzate — non quelle che usi per giocare ai videogiochi, ma acceleratori enormi che vivono nei datacenter.

Finora, chi costruiva questi modelli non aveva scelta: si compravano le GPU di NVIDIA, punto. La concorrenza era praticamente assente a livello professionale.

AMD ha appena cambiato le regole del gioco con la MI350 Instinct. Questa scheda porta 288 gigabyte di memoria HBM3e su ogni singola unita — piu del doppio rispetto a molte soluzioni precedenti — e riesce a spostare dati a una velocita doppia rispetto alla gia potente MI300X. In termini pratici, significa che puoi caricare modelli molto piu grandi direttamente in memoria senza dover fare acrobazie software per distribuire i dati tra piu schede.

Le prestazioni di calcolo in virgola mobile a bassa precisione (FP8, il formato preferito per l'addestramento rapido) toccano 1.5 petaflop per scheda — un numero che compete direttamente con le H200 e GB200 di NVIDIA.

Ma la vera notizia potrebbe essere ROCm 7.0, il software che fa girare tutto. Uno dei motivi per cui AMD faticava ad attirare clienti era che i framework come PyTorch funzionavano male o richiedevano troppo lavoro di adattamento. Con ROCm 7.0, la compatibilita con PyTorch e migliorata sensibilmente, avvicinando l'esperienza dello sviluppatore a quella che si ha con le GPU NVIDIA.

Per i grandi laboratori di ricerca e le aziende che spendono milioni in infrastruttura AI, avere un secondo fornitore serio significa poter negoziare prezzi e non dipendere da un unico produttore.