Falcon 40B: TII apre i pesi e conquista la Open LLM Leaderboard
In una frase Il Technology Innovation Institute di Abu Dhabi rilascia Falcon 40B, addestrato su 1.000 miliardi di token in gran parte da RefinedWeb; il 31 maggio la licenza diventa Apache 2.0 senza royalty e il modello è primo nella Open LLM Leaderboard di Hugging Face.
Falcon 40B è un modello linguistico da 40 miliardi di parametri sviluppato dal Technology Innovation Institute (TII) di Abu Dhabi. Il 25 maggio 2023 TII ne distribuisce i pesi per ricerca e uso commerciale, insieme a modelli più piccoli (7,5 e 1,3 miliardi di parametri, secondo il comunicato) e a un estratto del dataset RefinedWeb.
La prima licenza prevedeva royalty sopra una certa soglia di ricavi; il 31 maggio TII la sostituisce con Apache 2.0, senza royalty.
Il punto di forza dichiarato sono i dati: oltre l'80% dell'addestramento viene da RefinedWeb, un dataset web filtrato e deduplicato costruito da CommonCrawl. Al rilascio Falcon 40B è primo nella Open LLM Leaderboard di Hugging Face, davanti anche a LLaMA 65B.
Aziende
Technology Innovation Institute
Tool
Falcon-40B, RefinedWeb
Tag
Fonti