FLAN: l'instruction tuning che insegna ai modelli a seguire istruzioni
In una frase Google mostra che addestrare un modello su 60+ task formulati come istruzioni migliora drasticamente le prestazioni zero-shot su task mai visti prima.
Immagina di voler insegnare a qualcuno a fare un lavoro generico: invece di fargli fare sempre lo stesso esercizio, gli dai decine di compiti diversi spiegandogli ogni volta cosa fare con parole semplici. Alla fine sa adattarsi a qualunque richiesta nuova, anche senza esempi.
È quello che Google ha fatto con FLAN: ha preso un modello enorme (137 miliardi di parametri, LaMDA) e lo ha addestrato su oltre 60 tipi di compiti linguistici, sempre descritti sotto forma di istruzione testuale.
Il risultato è sorprendente: il modello riesce a fare bene task completamente nuovi senza mai averli visti durante l'addestramento. Prima di FLAN i modelli grandi erano bravi a completare testi, ma seguire istruzioni era un'altra storia. Questo esperimento ha aperto la strada a tutti i modelli "instruction-tuned" che usiamo oggi, da ChatGPT in poi.
Aziende
Tool
—
Tag
Fonti