Tülu 3 di Allen AI: il primo post-training pipeline completamente aperto
In una frase Allen Institute (AI2) rilascia Tülu 3: famiglia 8B/70B con il primo post-training pipeline davvero open (codice, dati, recipes, eval), batte Llama 3.1 Instruct usando solo la base Meta.
Meta rilascia i modelli Llama in due versioni: "base" (i pesi grezzi dopo l'addestramento iniziale) e "Instruct" (raffinato per rispondere a istruzioni). La pipeline per passare da base a Instruct è uno dei segreti meglio custoditi dell'industria — Meta non spiega esattamente come lo fa.
Allen AI, un istituto di ricerca senza scopo di lucro fondato da Paul Allen, pubblica Tülu 3: prende la base Llama 3.1 e ci applica una pipeline post-training completamente aperta. Codice, dati, ricette, valutazioni, tutto su GitHub.
Risultato: il loro Tülu 3 70B batte addirittura Llama 3.1 70B Instruct su molti benchmark. E chiunque, in un'università o azienda, può riprodurlo o adattarlo.
Aziende
Allen Institute for AI
Tool
Tulu 3
Tag
Fonti