DeepSpeed-FastGen: Dynamic SplitFuse per servire LLM con fino a 2,3x il throughput di vLLM
In una frase Il 3 novembre 2023 il team DeepSpeed di Microsoft presenta FastGen, sistema di serving per LLM basato su DeepSpeed-MII e DeepSpeed-Inference. Con lo scheduling Dynamic SplitFuse dichiara fino a 2,3x di throughput effettivo rispetto a vLLM e latenze di coda fino a 3,7x più basse.
Quando un servizio AI riceve molte richieste insieme, il server deve gestire prompt di lunghezze molto diverse. Nei sistemi con continuous batching come vLLM, l'elaborazione di un prompt lungo può fermare per un momento la generazione delle risposte già in corso, e gli utenti vedono rallentamenti.
DeepSpeed-FastGen introduce "Dynamic SplitFuse": spezza i prompt lunghi in pezzi distribuiti su più passaggi del modello e accorpa quelli brevi, così ogni passaggio ha una quantità di lavoro simile e la generazione non si blocca.
Secondo il team DeepSpeed, il risultato è fino a 2,3 volte il throughput effettivo di vLLM, latenza media circa dimezzata e latenza di coda per token fino a 3,7 volte più bassa. Si installa con il pacchetto deepspeed-mii ed è rilasciato come versione alpha.
Aziende
Microsoft
Tool
DeepSpeed, DeepSpeed-MII, DeepSpeed-FastGen, vLLM
Tag
Fonti