NVIDIA H100 e architettura Hopper: la GPU dei foundation model
In una frase Al GTC del 22 marzo 2022 NVIDIA annuncia l'architettura Hopper e la GPU H100: 80 miliardi di transistor, HBM3, Transformer Engine con FP8, NVLink di 4ª generazione. Disponibilità prevista dal terzo trimestre 2022.
NVIDIA presenta una nuova generazione di GPU per data center, pensata per addestrare e far girare modelli AI: si chiama H100.
La novità più importante è il "Transformer Engine", una combinazione di hardware e software pensata per i modelli tipo GPT: usa numeri a 8 bit dove bastano e passa a una precisione maggiore dove serve, per andare più veloce senza perdere accuratezza.
Negli anni successivi le H100 diventano una delle GPU più richieste per addestrare i grandi modelli linguistici, e frasi come "addestrato su migliaia di H100" diventano comuni.
Aziende
NVIDIA
Tool
H100, Hopper, DGX H100
Tag
Fonti