Tülu 3 di Ai2: una ricetta di post-training completamente aperta
In una frase L'Allen Institute for AI (Ai2) rilascia Tülu 3, modelli 8B e 70B costruiti sulle basi Llama 3.1 con SFT, DPO e il nuovo RLVR; pubblica dati, codice, ricette e valutazioni. Secondo Ai2 supera le versioni Instruct di Llama 3.1, Qwen 2.5 e Mistral.
Meta rilascia i modelli Llama in due versioni: "base" (i pesi dopo il pre-addestramento) e "Instruct" (raffinati per seguire le istruzioni). Il passaggio dall'una all'altra, il post-training, è la parte meno documentata dello sviluppo di un modello.
Il 21 novembre 2024 l'Allen Institute for AI (Ai2) pubblica Tülu 3: parte dalle basi Llama 3.1 8B e 70B e ci applica una ricetta di post-training interamente pubblica. Rilascia i modelli di ogni fase, i dataset, il codice di addestramento, le ricette e il sistema di valutazione.
Secondo il paper, Tülu 3 supera le versioni Instruct di Llama 3.1, Qwen 2.5 e Mistral e anche modelli chiusi come GPT-4o-mini e Claude 3.5 Haiku. Chiunque può riprodurre o adattare la procedura.
Aziende
Allen Institute for AI
Tool
Tulu 3
Tag
Fonti