llamafile Mozilla: LLM in un singolo eseguibile portatile su qualsiasi OS
In una frase Mozilla rilascia llamafile, un eseguibile single-file che combina llama.cpp con Cosmopolitan Libc per far girare LLM su Linux, Windows, Mac e BSD senza installazioni, direttamente da CPU o GPU.
Distribuire un modello AI normalmente richiede Python, librerie specifiche, configurazioni diverse per ogni sistema operativo. Mozilla ha avuto un'idea radicale: e se il modello fosse un singolo file eseguibile che gira ovunque, come un documento Word?
llamafile combina il motore di inferenza llama.cpp con una tecnologia chiamata Cosmopolitan Libc, che genera file eseguibili in grado di riconoscere automaticamente su quale sistema operativo stanno girando e adattarsi. Lo stesso file funziona su Linux, Windows, macOS e persino BSD.
Il file contiene tutto: il motore di inferenza e il modello stesso. Basta scaricarlo, renderlo eseguibile, e lanciarlo — si apre anche un'interfaccia web nel browser. Niente Python, niente pip install, niente dipendenze. Ideale per distribuire AI in ambienti dove non si può installare software.
Aziende
Mozilla
Tool
llamafile, llama.cpp, Cosmopolitan Libc
Tag
Fonti