UL2: Google unifica i paradigmi di addestramento con Mixture-of-Denoisers
In una frase Google Research combina in un unico modello da 20B i tre principali obiettivi di pretraining (autoregressive, autoencoding, prefix LM), battendo GPT-3 su molti benchmark pur avendo 8 volte meno parametri.
Addestrare un modello linguistico è come scegliere un metodo di studio: c'è chi impara rileggendo tutto il testo (completamento), chi nasconde parti delle frasi e prova a indovinarle (fill-the-blank), e chi legge l'inizio di un testo e scrive il finale. Ogni metodo sviluppa abilità diverse.
Fino al 2022, la maggior parte dei modelli usava solo uno di questi metodi. Google con UL2 ha invece detto: perché non usarli tutti e tre insieme?
Il risultato è un modello da 20 miliardi di parametri che in molti test supera GPT-3, che ne ha 175 miliardi. In pratica una macchina molto più piccola che però ha imparato a fare cose diverse nello stesso allenamento. E soprattutto, Google lo ha rilasciato pubblicamente su HuggingFace, permettendo a chiunque di usarlo e modificarlo.
Aziende
Tool
—
Tag
Fonti