BLOOM 176B: il primo grande LLM multilingue veramente aperto
In una frase Il collettivo BigScience rilascia BLOOM, un modello da 176 miliardi di parametri addestrato in 46 lingue e 13 linguaggi di programmazione, sotto licenza RAIL aperta.
Mentre OpenAI tiene GPT-3 chiuso e Meta apre OPT solo ai ricercatori, un gruppo di mille volontari da 70 paesi — il progetto BigScience guidato da Hugging Face — costruisce in pubblico un modello della stessa scala e lo rilascia con licenza aperta.
Si chiama BLOOM, 176 miliardi di parametri, addestrato su un supercomputer francese (Jean Zay) per quattro mesi. La differenza con GPT-3: capisce 46 lingue umane, non solo inglese, e 13 linguaggi di programmazione.
Non vince in performance, ma è un altro passo verso un'AI non controllata da una sola azienda. La sua licenza "Responsible AI License" (RAIL) prova a vietare usi dannosi pur restando aperta.
Aziende
BigScience, Hugging Face
Tool
BLOOM-176B
Tag
Fonti