LLaMA: Meta apre la porta dei modelli foundation alla ricerca
In una frase Meta pubblica LLaMA in quattro taglie (7B, 13B, 33B, 65B) accessibili su richiesta a ricercatori. Una settimana dopo, i pesi finiscono in leak pubblico.
Meta presenta LLaMA, una famiglia di modelli linguistici di taglia "ragionevole": dal modello piccolo da 7 miliardi di parametri a quello grande da 65 miliardi.
Il punto forte: prestazioni paragonabili a GPT-3 (175B) con un decimo dei parametri, perché il modello è addestrato su molti più dati. Meta li distribuisce su richiesta solo ai ricercatori, ma in pochi giorni i pesi finiscono online tramite torrent.
A quel punto, chiunque con una buona GPU può far girare un modello quasi-stato-dell'arte. Nasce davvero l'ecosistema open dei modelli linguistici.
Aziende
Meta
Tool
LLaMA
Tag
Fonti