PrismML rilascia Ternary Bonsai 2 27B: un modello multimodale da 27B in 5,9 GB
In una frase Il 17 settembre PrismML pubblica Ternary Bonsai 2 27B, versione a pesi ternari di Qwen3.8 27B: 1,76 bit effettivi per peso, 5,9 GB totali, licenza Apache 2.0, e il 98,2% delle prestazioni aggregate del modello originale secondo i benchmark del produttore.
Un modello linguistico da 27 miliardi di parametri, in formato normale, occupa decine di gigabyte e richiede una GPU di fascia alta. PrismML ha preso Qwen3.8 27B e lo ha ricompresso usando pesi "ternari": ogni peso può valere solo -1, 0 o +1, più un fattore di scala condiviso da gruppi di pesi. Il risultato pesa 5,9 GB, oltre nove volte meno dell'originale.
Secondo i test pubblicati dall'azienda, il modello compresso conserva il 98,2% del punteggio complessivo dell'originale (83,9 contro 85,4), e in alcune aree come il rispetto delle istruzioni risulta perfino leggermente migliore. Accetta testo e immagini e ha un contesto di 262 mila token.
Il punto pratico è che gira su hardware da utente: GPU NVIDIA tramite CUDA e dispositivi Apple (Mac, iPhone, iPad) tramite MLX, con kernel dedicati. La licenza è Apache 2.0, quindi utilizzabile anche commercialmente.
Aziende
PrismML
Tool
Ternary Bonsai 2 27B, Qwen3.8 27B, MLX, CUDA
Tag
Fonti