Llama 3: 8B e 70B open competitivi con Claude 3 Sonnet
In una frase Meta rilascia Llama 3 in due taglie iniziali (8B, 70B). Addestrato su 15T token, miglior tokenizer, context 8K. Il 70B Instruct compete con Claude 3 Sonnet e Gemini 1.5 Pro su molti benchmark.
Meta presenta Llama 3 in due taglie: 8 e 70 miliardi di parametri. Stessa filosofia di Llama 2 (open + licenza commerciale), ma molto più potente: il modello da 70B compete con i top closed-source.
La cosa nuova: il dataset di training è di 15.000 miliardi di token (sette volte più di Llama 2) e include molto codice e molte lingue diverse. Risultato: meglio su quasi tutto.
Un modello da 405B parametri viene annunciato come "in arrivo" (uscirà a luglio come Llama 3.1). Per il mondo open-source è il momento in cui il gap con i closed-source si chiude davvero.
Aziende
Meta
Tool
Llama 3
Tag
Fonti