NVIDIA A100: l'architettura Ampere e la GPU che addestra GPT-3
In una frase Al GTC 2020 Jensen Huang annuncia la GPU A100 basata sull'architettura Ampere: 54 miliardi di transistor, 40-80 GB HBM2e, TF32, sparsità strutturale 2:4 e supporto MIG.
Al cuore di ogni modello AI moderno c'è una scheda grafica. Ma quelle "da gamer" non bastano: per addestrare un modello come GPT-3 servono GPU pensate solo per i data center.
Al suo GTC 2020 NVIDIA presenta A100, la nuova generazione. È fisicamente enorme (più di 50 miliardi di transistor), ha 40 GB di memoria velocissima e introduce trucchi specifici per l'AI: nuovi formati numerici che bilanciano precisione e velocità, e la possibilità di "tagliare" una singola GPU in fino a sette macchine virtuali per condividerla tra carichi diversi.
L'A100 diventa lo standard dei data center AI per i tre anni successivi. Tutti i grandi modelli del 2020-2022 nascono qui.
Aziende
NVIDIA
Tool
A100, Ampere
Tag
Fonti