HuggingFace Accelerate: un solo script Python per CPU, GPU, TPU e mixed precision

Prima di Accelerate, un ricercatore che voleva passare dall'addestramento su una singola GPU a più GPU doveva riscrivere il proprio codice da zero. E se voleva usare anche i TPU di Google, serviva un'altra riscrittura. Era come avere una macchina che funziona solo con un tipo di carburante specifico per ogni autodromo.

HuggingFace Accelerate risolve questo problema creando un livello intermedio tra il tuo codice di addestramento e l'hardware sottostante. Aggiungi quattro o cinque righe di codice una volta sola, e poi lo stesso script gira su un laptop con CPU, su una workstation con una GPU, su un server con 8 GPU in parallelo, su un cluster con centinaia di GPU, o su un pod di TPU, senza toccare nient'altro.

Accelerate gestisce automaticamente la distribuzione dei dati tra le GPU, sincronizza i gradienti durante il backpropagation, applica la mixed precision per risparmiare memoria, e fornisce strumenti per il logging e il checkpointing. Questo ha permesso a centinaia di team di piccole dimensioni di addestrare modelli che prima richiedevano infrastrutture dedicate. È diventato il componente scelto per quasi tutti i framework open source di fine-tuning che sono stati rilasciati negli anni successivi.