GPT-3: il paper che apre l'era delle scaling laws
In una frase OpenAI pubblica 'Language Models are Few-Shot Learners' e mostra che con 175 miliardi di parametri un modello impara nuovi compiti da pochi esempi nel prompt.
OpenAI presenta un modello linguistico enorme, GPT-3. La cosa nuova non è solo la dimensione: il modello impara a fare cose nuove guardando pochi esempi scritti nella conversazione, senza essere riaddestrato.
Prima, per insegnare a un modello un compito specifico, serviva una fase di addestramento dedicato. GPT-3 fa vedere che, oltre una certa scala, il modello "capisce" cosa vuoi dai pochi esempi che gli mostri al volo.
Per chi lavora con il software è un cambio di paradigma: invece di addestrare un modello per ogni problema, si scrive un prompt.
Aziende
OpenAI
Tool
GPT-3
Tag
Fonti