DBRX: il MoE open di Databricks da 132B totali e 36B attivi
In una frase Databricks rilascia DBRX, un Mixture-of-Experts open weights da 132B parametri totali (36B attivi per token), che supera Llama 2 70B su molti benchmark a costo inferenza minore.
Databricks, l'azienda dietro Apache Spark e di recente acquirente di MosaicML, pubblica gratis i pesi di un grande modello chiamato DBRX.
La particolarità tecnica: è un "Mixture of Experts". Pensa a un team di 16 specialisti — per ogni parola da generare, il sistema sceglie i 4 più adatti e fa lavorare solo loro. Il modello totale è enorme (132 miliardi di parametri) ma per ogni token ne usa solo 36, quindi è più veloce ed economico in inferenza.
Si scarica con licenza open, e Databricks lo offre anche via API sulla loro piattaforma.
Aziende
Databricks, Mosaic
Tool
DBRX
Tag
Fonti