OLMo: il primo modello davvero aperto — pesi, dati, codice e checkpoint
In una frase AllenAI pubblica OLMo con pesi, dataset completo Dolma (3T token), codice di training e tutti i checkpoint intermedi, rendendo per la prima volta riproducibile scientificamente l'intero processo di training di un LLM.
"Open source" nel mondo dell'AI è diventata una parola usata in modo molto libero. Llama di Meta è "aperto" nel senso che puoi scaricare il modello finale, ma non sai esattamente su quali dati è stato addestrato, non puoi riprodurre l'addestramento, e non puoi vedere i passaggi intermedi.
AllenAI ha fatto qualcosa di diverso con OLMo: ha pubblicato tutto. Il modello finale, certo, ma anche l'intero dataset di training (Dolma, 3 trilioni di token), il codice sorgente per riprodurre l'addestramento dall'inizio, e centinaia di checkpoint intermedi che mostrano come il modello cambia durante il training.
Questo è importante perché la scienza richiede riproducibilità. Se non puoi ripetere un esperimento, non puoi davvero verificare le affermazioni. OLMo è il primo LLM su cui un ricercatore esterno può fare questo tipo di analisi rigorosa.
Aziende
AllenAI
Tool
—
Tag
Fonti