Meta OPT-175B: il primo LLM da 175 miliardi aperto alla ricerca
In una frase Meta AI rilascia OPT-175B, un modello linguistico paragonabile a GPT-3 per dimensioni, con pesi disponibili ai ricercatori e un logbook di training pubblico.
OpenAI non condivide GPT-3 con i ricercatori: solo l'API. Meta dice "noi sì": pubblica un modello della stessa scala — 175 miliardi di parametri — e lo dà a chi fa ricerca, con tanto di pesi scaricabili.
Più interessante ancora: pubblica anche il diario di bordo del training, con tutti i problemi tecnici incontrati. È la prima volta che un'azienda mostra "cosa va storto" quando addestri un modello così grande.
Non è davvero open source per tutti — la licenza è per ricerca non commerciale — ma è un grosso passo verso modelli aperti. Da qui parte la strada che porterà a LLaMA e Llama 2.
Aziende
Meta AI
Tool
OPT-175B
Tag
Fonti