GGUF: il nuovo formato file di llama.cpp per i modelli locali
In una frase llama.cpp adotta GGUF, nuovo formato file per i modelli eseguiti con GGML che sostituisce i formati precedenti (GGML, GGMF, GGJT) con un unico file auto-descrittivo e metadati chiave-valore estensibili.
Il 21 agosto 2023 llama.cpp integra GGUF (pull request 2398), un nuovo formato per salvare i modelli da eseguire in locale con la libreria GGML.
I formati precedenti salvavano i parametri del modello come liste senza tipo: aggiungere un'informazione nuova rischiava di rompere la compatibilità con i file esistenti. GGUF usa invece coppie chiave-valore, quindi si possono aggiungere metadati senza invalidare i modelli già distribuiti.
L'obiettivo è che un singolo file contenga tutto il necessario per caricare il modello, senza file esterni.
Aziende
—
Tool
GGUF, llama.cpp, GGML
Tag
Fonti