Flan-T5 e Flan-PaLM: l'instruction tuning scala a 1800 task
In una frase Google scala l'instruction tuning a 1.800 task e 540 miliardi di parametri, rilascia Flan-T5 open-source e dimostra che il chain-of-thought si insegna esplicitamente tramite fine-tuning.
Dopo FLAN del 2021 — che usava 60 tipi di compiti — Google ha alzato il tiro in modo spettacolare: 1.800 compiti diversi, in molte lingue e formati. È come passare da un corso base a un'università completa.
La parte più importante per chi usa l'AI oggi è il chain-of-thought: invece di dare solo la risposta giusta, i dati di addestramento includono anche il ragionamento passo dopo passo. Il modello impara non solo cosa rispondere, ma anche come pensarci.
Google ha poi rilasciato Flan-T5, una famiglia di modelli che va dall'80 milioni al 11 miliardi di parametri, completamente aperta. Questi modelli sono diventati la base di partenza per migliaia di esperimenti e prodotti nel mondo dell'AI, perché funzionano bene e sono piccoli abbastanza da girare su hardware comune.
Aziende
Tool
—
Tag
Fonti