Falcon 40B: il primo open weight a battere LLaMA 65B
In una frase Il Technology Innovation Institute UAE rilascia Falcon 40B: addestrato su 1T token di RefinedWeb, batte LLaMA 65B sui benchmark con licenza commerciale.
Falcon 40B è un modello linguistico sviluppato da un istituto di ricerca negli Emirati Arabi Uniti. È stato rilasciato con una licenza che permette l'uso commerciale, cosa rara per un modello così potente nel 2023.
La sua particolarità è la qualità dei dati: il team ha creato RefinedWeb, un dataset da un trilione di token filtrati e deduplicati dal web, molto più pulito delle raccolte usate dai concorrenti.
Il risultato è stato immediato: Falcon 40B è salito in cima alle classifiche open-source, battendo LLaMA 65B di Meta nonostante avesse meno parametri.
Aziende
Technology Innovation Institute
Tool
Falcon-40B
Tag
Fonti