Percorso
DevOps / LLMOps: inferenza, stack e ottimizzazione in produzione
vLLM, Ollama, quantizzazione e latency: il percorso operativo per chi fa girare LLM sul serio.
Sei un DevOps, MLOps o LLMOps engineer che deve mettere in produzione modelli linguistici con requisiti reali di latenza, throughput e costo. Questo percorso segue l'evoluzione dell'infrastruttura di inferenza: dai chip che ne definiscono i limiti fisici, agli stack open source che li sfruttano al massimo, fino alle tecniche di quantizzazione che abbattono i requisiti hardware senza sacrificare la qualità.
- 01
Perché conta per te
Il framework Microsoft che ha reso praticabile il training distribuito su centinaia di GPU con ZeRO stage 3: capire come partiziona optimizer state, gradienti e parametri è il fondamento per qualsiasi pipeline MLOps su cluster.
Alto Infrastruttura AIDeepSpeed ZeRO-3 Offload: oltre 40 miliardi di parametri su una sola GPU
Microsoft rilascia in DeepSpeed ZeRO-3 Offload, che unisce ZeRO Stage 3 (partizionamento anche dei parametri) e l'offload su CPU: fine-tuning di modelli oltre 40B parametri su una singola V100 da 32 GB e modelli da 2.000 miliardi di parametri su 512 GPU.
- 02
Perché conta per te
La demo virale di un chip inference-only a circa 500 token/s su Mixtral 8x7B, contro circa 40 di ChatGPT-3.5: cambia i benchmark di riferimento per la latency SLA e impone di rivalutare le scelte hardware in ogni stack LLMOps.
Alto Infrastruttura AIGroq LPU: l'inferenza a 500 token al secondo diventa virale
A metà febbraio 2024 la demo pubblica di Groq su modelli open come Mixtral 8x7B genera circa 500 token al secondo e diventa virale su X; nello stesso periodo parte GroqCloud per gli sviluppatori.
- 03
Perché conta per te
Il chip wafer-scale che, secondo Cerebras, porta Llama 3.1 70B a circa 450 token/s, 20 volte le soluzioni GPU dei grandi cloud: mostra quanto conti la banda di memoria e guida le decisioni su batch size e caching strategy.
Medio Infrastruttura AICerebras Inference: inferenza LLM sul chip wafer-scale WSE-3
Il 27 agosto 2024 Cerebras lancia un servizio di inferenza su chip WSE-3 e dichiara 1.800 token/s su Llama 3.1 8B e 450 token/s su Llama 3.1 70B, 20 volte più delle soluzioni GPU nei cloud hyperscale, a 10 e 60 centesimi per milione di token.
- 04
Perché conta per te
Meta propone API standard per inference, tool use e RAG, con Llama Guard integrato, in distribuzioni per cloud, on-prem e locale: un riferimento per chi vuole un'architettura LLMOps riproducibile senza dipendere da un singolo provider.
Medio Infrastruttura AILlama Stack: Meta propone interfacce standard e distribuzioni per costruire app sui modelli Llama
Insieme a Llama 3.2, il 25 settembre 2024 Meta presenta le prime distribuzioni Llama Stack: un'interfaccia standardizzata per i componenti della toolchain, con implementazione di riferimento per inference, tool use e RAG e distribuzioni per cloud, on-prem, single-node e on-device.
- 05
Perché conta per te
2.522 token/s per utente su Llama 4 Maverick, misurati da Artificial Analysis contro i 1.038 di Blackwell: un riferimento concreto per capire cosa si può promettere in uno SLA di produzione.
Medio Infrastruttura AICerebras supera Nvidia Blackwell su Llama 4 Maverick: 2.522 token/s
Il 28 maggio 2025 Cerebras annuncia che Artificial Analysis ha misurato il suo endpoint Llama 4 Maverick (400B) a 2.522 token/s per utente, contro i 1.038 di Nvidia Blackwell, record annunciato da Nvidia solo una settimana prima.
- 06
Perché conta per te
vLLM 0.7 presenta in alpha il motore V1 riscritto, con chunked prefill, prefix caching di default e fino a 1,7× di throughput: una variabile d'ambiente per misurare il guadagno sul tuo deployment.
Medio Infrastruttura AIvLLM v0.7: arriva in alpha il nuovo motore V1
Il 27 gennaio 2025 vLLM pubblica la v0.7.0 e presenta in alpha il motore V1 riscritto, attivabile con VLLM_USE_V1=1: scheduler unificato con chunked prefill, prefix caching attivo di default, torch.compile e fino a 1,7× di throughput rispetto al V0.
- 07
Perché conta per te
I K-quants di llama.cpp (Q4_K_M, Q5_K_M…) fissano i formati di quantizzazione che ancora oggi decidono quanta memoria serve per servire un modello on-premise.
Alto AI localellama.cpp K-quants: quantizzazione a super-blocchi e mix per tensore
Con la PR #1684 di Iwan Kawrakow, llama.cpp introduce le k-quants da 2 a 6 bit (Q2_K-Q6_K) a super-blocchi di 256 pesi e i mix S/M/L che assegnano più bit ai tensori più sensibili. Su LLaMA 7B, Q4_K_M ha perplexity 5,96 contro 5,91 di F16 in un file da 3,8 GB invece di 13.