vLLM: throughput LLM 24x con PagedAttention dalla UC Berkeley
In una frase Un team della UC Berkeley pubblica vLLM, libreria open source per servire LLM con PagedAttention, che gestisce la KV cache come la memoria virtuale di un sistema operativo: fino a 24x il throughput di HuggingFace Transformers e fino a 3,5x quello di TGI.
Quando si usa un modello linguistico di grandi dimensioni, c'è un problema nascosto: la memoria occupata dai calcoli intermedi (la KV cache) viene gestita in modo molto inefficiente. vLLM risolve questo problema adottando la stessa idea con cui i sistemi operativi gestiscono la RAM.
Invece di riservare blocchi di memoria contigui (che spesso rimangono parzialmente vuoti), vLLM divide la KV cache in "pagine" piccole e le alloca dove c'è spazio, esattamente come fa Linux con la memoria virtuale. Questo elimina quasi completamente gli sprechi.
Il risultato: la stessa GPU può servire molte più richieste in parallelo, con un throughput fino a 24 volte superiore rispetto a HuggingFace Transformers. Prima del rilascio pubblico vLLM era già il motore che serviva Vicuna e la Chatbot Arena di LMSYS.
Aziende
UC Berkeley
Tool
vLLM, PagedAttention
Tag
Fonti