HuggingFace Accelerate 0.30: guida FSDP vs DeepSpeed, MoE con DeepSpeed e nuovi ottimizzatori
In una frase Accelerate 0.30.0 aggiunge il supporto ai modelli MoE con DeepSpeed, l'upcasting per FSDP in mixed precision, gli ottimizzatori schedule-free e LOMO, e una nuova guida concettuale che spiega come FSDP e DeepSpeed si corrispondono.
Accelerate è la libreria di HuggingFace che permette di far girare lo stesso codice di training su una o più GPU, scegliendo il backend distribuito, come FSDP di PyTorch o DeepSpeed, con una configurazione invece di riscrivere il codice.
La versione 0.30.0, uscita il 3 maggio 2024, porta soprattutto una nuova guida che spiega in dettaglio come FSDP e DeepSpeed funzionano e come si corrispondono: utile per chi deve scegliere o passare dall'uno all'altro.
Sul piano tecnico aggiunge il supporto ai modelli Mixture-of-Experts con DeepSpeed, due ottimizzatori nuovi e un'immagine Docker dedicata a DeepSpeed.
Aziende
HuggingFace
Tool
HuggingFace Accelerate, FSDP, DeepSpeed, PyTorch
Tag
Fonti