Alto AI locale · 1 min lettura
Ollama Modelfile e API REST: LLM locali nei workflow di sviluppo
In una frase Ollama introduce il Modelfile (come un Dockerfile per LLM), un'API REST compatibile con OpenAI SDK e un registry con 100+ modelli pronti all'uso.
Livello di lettura
Ollama lancia due funzionalità che cambiano il modo di lavorare con i modelli locali. Il Modelfile permette di definire un modello custom con parametri, system prompt e template in un file di testo, come si farebbe con un Dockerfile. L'API REST è compatibile con il formato di OpenAI, quindi tutte le librerie e gli strumenti già scritti per GPT-4 funzionano senza modifiche. Il registry pubblico cresce fino a oltre 100 modelli scaricabili con un singolo comando.
Aziende
Ollama
Tool
Ollama
Tag
OllamaModelfileREST APIOpenAI CompatibleLocal AI
Fonti