LocalAI: drop-in replacement delle API OpenAI con modelli locali
In una frase LocalAI, il server REST in Go di Ettore Di Giacinto (mudler) compatibile con le API OpenAI, arriva alla versione 1.9.0 l'11 maggio 2023: oltre ai modelli di testo ggml gestisce trascrizioni audio con whisper.cpp ed embeddings. Le app scritte per OpenAI possono puntare a un server locale.
Molte applicazioni sono scritte per usare le API di OpenAI. LocalAI sfrutta questo fatto: offre un server che parla la stessa lingua delle API OpenAI, ma elabora le richieste in locale invece di mandare i dati nel cloud.
Il progetto nasce a marzo 2023 come llama-cli, un'interfaccia a riga di comando per llama.cpp, e poco dopo viene rinominato LocalAI per concentrarsi sull'API compatibile con OpenAI. Gira su CPU di fascia consumer e si distribuisce come immagine container.
A inizio maggio si aggiungono gli embeddings e le trascrizioni audio; la versione 1.9.0 dell'11 maggio porta aggiornamenti importanti al supporto whisper e a più famiglie di modelli GPT4All. Per un'azienda che vuole usare l'AI su documenti interni senza farli uscire dalla rete, cambia solo l'indirizzo a cui l'applicazione si collega.
Aziende
mudler (Ettore Di Giacinto)
Tool
LocalAI, llama.cpp, whisper.cpp, GPT4All
Tag
Fonti