vLLM v0.7: arriva in alpha il nuovo motore V1
In una frase Il 27 gennaio 2025 vLLM pubblica la v0.7.0 e presenta in alpha il motore V1 riscritto, attivabile con VLLM_USE_V1=1: scheduler unificato con chunked prefill, prefix caching attivo di default, torch.compile e fino a 1,7× di throughput rispetto al V0.
vLLM è uno dei motori open source più usati per far girare modelli linguistici su server propri. Con la versione 0.7.0, uscita il 27 gennaio 2025, il progetto presenta in anteprima (alpha) un motore interno riscritto, chiamato V1.
Il nuovo motore non è ancora quello predefinito: si attiva impostando una variabile d'ambiente, senza cambiare il codice delle applicazioni. Gli sviluppatori dichiarano fino a 1,7 volte più throughput del motore precedente, soprattutto grazie a un minore carico sulla CPU.
Nel V1 la lettura del prompt viene spezzata in blocchi e mescolata con la generazione (chunked prefill), e il riuso dei prefissi già calcolati (prefix caching) è sempre attivo. Alcune funzioni, come LoRA, speculative decoding e pipeline parallelism, non sono ancora supportate in questa alpha.
Aziende
vLLM Project
Tool
vLLM v0.7, vLLM V1 engine
Tag
Fonti