Categoria
40 voci
Nuove tecniche di quantizzazione (estensioni 2-bit / 3-bit di qualità) permettono di girare modelli reasoning dimensione frontier su workstation con 32-64GB di RAM unificata.
Lo stack Local AI matura: Ollama accelera inferenza con scheduler migliorato e KV cache compresso, MLX LM diventa SOTA su Apple Silicon, Apple debutta Foundation Models framework per app native. Eseguire Llama 3.3 70B su MacBook diventa pratica quotidiana.
Private LLM porta LLM fino a 7B su iPhone 15 Pro e Mac con chip M tramite CoreML e Apple Neural Engine, completamente offline senza telemetria né abbonamenti cloud.
Ollama raggiunge la versione 1.0 stabile: supporto multimodale per immagini, tool calling nativo, API embeddings, piena compatibilità OpenAI e disponibilità ufficiale su Windows.
Ollama aggiunge supporto multimodale first-class: 'ollama run llama3.2-vision' avvia inferenza visiva locale. Le immagini vengono passate inline nelle chiamate API. Porta l'esperienza one-line di Ollama ai VLM (LLaVA, Moondream, Llama 3.2 Vision).
KoboldCpp v1.84 porta RAG nativo con ChromaDB embedded: indicizza documenti locali e inietta contesto automaticamente nel prompt, senza configurare server separati.
Open WebUI introduce Pipelines: middleware layer pluggable che intercetta richieste e risposte senza modificare il core, aggiungendo rate limiting, safety filter, logging, e tool custom. Prima architettura plugin matura per un frontend LLM locale.
Jan.ai raggiunge la GA con la versione 1.0: model manager integrato, API server locale, supporto MCP nativo, e un sistema di estensioni — prima app desktop AI con un ecosistema di plugin. Alternativa offline a ChatGPT per utenti privacy-first.
LM Studio diventa client MCP: i modelli locali accedono a filesystem, database e web search tramite server MCP, senza inviare dati a servizi cloud esterni.
llama.cpp integra lo speculative decoding con modelli draft GGUF: speedup di 2-3x anche su CPU, con supporto cross-architecture per modelli di famiglie diverse.
Jan.ai 0.5 introduce un marketplace di estensioni, accelerazione GPU CUDA e Metal, modelli pre-configurati per uso offline totale e API compatibile OpenAI.
LM Studio 0.3 porta un server OpenAI-compatibile integrato, più modelli attivi contemporaneamente, download diretto da HuggingFace e log esportabili.
llama.cpp integra un backend Vulkan stabile che porta l'accelerazione GPU locale a qualsiasi GPU discreta: AMD Radeon, Intel Arc, GPU mobile, hardware legacy — aprendo il mercato locale AI a tutti gli utenti non NVIDIA.
Pinokio installa Stable Diffusion, ComfyUI, Open Interpreter e XTTS con un click, gestendo automaticamente Python, Node.js e tutte le dipendenze su Mac, Windows e Linux.
AnythingLLM 1.0 di Mintplex Labs consolida in un'unica applicazione l'intero stack RAG: ingestione documenti, chat multi-utente con ruoli, supporto Ollama e LM Studio, audit log e deployment single-binary. Prima soluzione local AI che copre il caso d'uso enterprise completo.
Open WebUI introduce il function calling locale e plugin Python iniettabili, avvicinando le capacità di ChatGPT Enterprise al self-hosting completo.
TabbyML raggiunge maturità production con completamento FIM (fill-in-the-middle), indicizzazione RAG del repository locale, plugin per VS Code e JetBrains, e deployment Docker — primo Copilot alternativo open source con contesto del proprio codebase.
KoboldCpp introduce il RAG integrato nella sua interfaccia all-in-one per LLM locali: gestione documenti, character AI e inference GGUF in un solo eseguibile offline.
App desktop per macOS e Windows che permette di interrogare più LLM in parallelo, gestire conversazioni e organizzare prompt in un vault locale.
Microsoft rilascia Phi-3-mini 3.8B, small 7B, medium 14B. Mini gira su iPhone e supera Mixtral 8x7B su molti benchmark. Conferma la tesi 'dati curati > scale'.
NextChat (ex ChatGPT-Next-Web) supera i 60.000 star su GitHub con la v2: deployment Docker single-binary, supporto multi-provider (OpenAI, Azure, modelli locali), sistema mask/template, diventando la UI self-hosted di riferimento per aziende che vogliono controllo sui dati.
Ollama introduce il Modelfile (come un Dockerfile per LLM), un'API REST compatibile con OpenAI SDK e un registry con 100+ modelli pronti all'uso.
Open WebUI (ex Ollama WebUI) porta un'interfaccia web completa per Ollama: chat multiutente, cronologia persistente, upload documenti, tutto in un container Docker.
LlamaIndex raggiunge la versione 0.10 stabile con 150+ data connector, supporto async completo, streaming, e query engine modulari — diventando il framework di riferimento per pipeline RAG con LLM locali accanto a LangChain.
AnythingLLM porta un sistema RAG full-stack con interfaccia web, supporto Ollama/LocalAI come backend LLM, e vector database embedded, tutto offline in un singolo container.
Microsoft Research rilascia Phi-2, 2.7B parametri addestrato su dati 'textbook quality'. Batte LLaMA 2 7B e Mistral 7B in benchmark di reasoning, gira su laptop. Filosofia 'small + clean data'.
Jan.ai lancia la prima versione stabile: client LLM locale open source con thread persistenti, sistema di estensioni e server OpenAI-compatible integrato.
Apple Research rilascia MLX, framework ML open source ottimizzato per M1/M2/M3: sfrutta la unified memory condivisa tra CPU e GPU per inference LLM con performance vicine a GPU dedicata.
Ollama lancia la versione 0.1: CLI minimale per scaricare e avviare modelli LLM in locale con un singolo comando, abbattendo la complessita' di setup a zero.
HuggingFace rilascia il codice sorgente di chat.huggingface.co: interfaccia web self-hostable via Docker per Llama 2, Mistral, Code Llama e modelli custom, con supporto per tool calls e web search.
Un LLM che gira in locale e può scrivere ed eseguire codice Python, JS e Shell in autonomia, navigare il web e modificare file sul tuo computer.
LM Studio lancia la prima versione pubblica: interfaccia grafica per esplorare, scaricare e usare modelli LLM locali con chat integrata e server OpenAI-compatible.
llama.cpp introduce le K-quants (Q2_K–Q8_K): quantizzazione per-layer che assegna bit diversi in base all'importanza del tensore. Q4_K_M raggiunge la qualità di Q5_1 con file più piccoli, diventando lo standard de facto per tutti i modelli GGUF moderni.
imartinez pubblica privateGPT: RAG completo su PDF e TXT con LLM locale, zero dati cloud. La tua knowledge base rimane sul tuo disco.
Nomic AI lancia GPT4All v2: installer desktop che scarica e avvia modelli quantizzati senza riga di comando, con LocalDocs per interrogare documenti privati senza connessione internet.
mudler pubblica LocalAI, un server REST compatibile OpenAI che esegue modelli GGML/GGUF in locale: migra le tue app da cloud a self-hosted cambiando solo l'URL.
Nomic AI rilascia GPT4All, un installer punto-e-clicca per eseguire modelli LLM offline su Windows, Mac e Linux, abbassando la barriera tecnica al minimo.
L'interfaccia web open source più popolare per eseguire LLM locali: supporta GPTQ, GGML, transformers con UI Gradio, estensioni, character card e modalità chat/instruct.
Georgi Gerganov porta LLaMA di Meta su CPU consumer con quantizzazione 4-bit in C++: primo modello foundation praticabile completamente offline su laptop.
Georgi Gerganov porta il modello Whisper di OpenAI su CPU tramite un'implementazione C++ minimale: trascrizione in tempo reale senza GPU e senza cloud.