NVIDIA H100 e architettura Hopper: la GPU dei foundation model
In una frase Al GTC 2022 NVIDIA annuncia l'architettura Hopper e la GPU H100, con Transformer Engine FP8 e NVLink 4. Sarà la base hardware di quasi tutti i grandi LLM degli anni successivi.
NVIDIA presenta una nuova generazione di processori grafici pensati non per i videogiochi ma per addestrare le intelligenze artificiali. Si chiamano H100.
La novità importante è una parte del chip — il "Transformer Engine" — costruita apposta per far girare i modelli tipo GPT più velocemente e consumando meno memoria.
In pratica, da qui in avanti, quando senti "abbiamo addestrato il modello su X mila GPU H100", quelle sono queste. Diventano la valuta dell'AI: i cluster di H100 sono ciò che separa chi può fare un foundation model da chi no.
Aziende
NVIDIA
Tool
H100
Tag
Fonti