MPT-7B: il primo modello open-source esplicitamente pensato per uso commerciale
In una frase MosaicML lancia MPT-7B sotto licenza Apache 2.0 con 65.000 token di contesto grazie ad ALiBi, primo modello open progettato esplicitamente per deployment commerciale senza restrizioni.
Prima di MPT-7B, i modelli open-source come LLaMA avevano una restrizione importante: non potevi usarli per fare soldi. Erano pensati per la ricerca, non per prodotti commerciali.
MosaicML ha cambiato le regole del gioco rilasciando MPT-7B con licenza Apache 2.0 — la stessa che si usa per moltissimo software open-source commerciale. Puoi costruire un prodotto sopra, venderlo, integrarlo in un servizio aziendale.
Ma c'era anche un'innovazione tecnica importante: MPT-7B usava una tecnica chiamata ALiBi che permetteva al modello di leggere testi molto lunghi — fino a 65.000 parole, contro le 4.000 solite. Per chi lavora con documenti, contratti o log di sistema, questa capacità è enorme. Non a caso, tre mesi dopo il lancio, MosaicML fu acquisita da Databricks per 1,3 miliardi di dollari.
Aziende
MosaicML
Tool
—
Tag
Fonti