Alto Modelli open source · 1 min lettura
GPT-Neo: EleutherAI pubblica i pesi di modelli in stile GPT-3
In una frase Il 21 marzo 2021 EleutherAI rilascia i pesi pre-addestrati di GPT-Neo 1.3B e 2.7B, modelli in stile GPT-3 addestrati su The Pile con codice basato su Mesh TensorFlow.
Livello di lettura
Il collettivo di ricerca EleutherAI, nato su Discord, pubblica i pesi di GPT-Neo: modelli di linguaggio con un'architettura simile a GPT-3, scaricabili liberamente.
Sono molto più piccoli di GPT-3 (1,3 e 2,7 miliardi di parametri contro 175), ma per chi vuole studiare o sperimentare un modello generativo senza passare da un'API a pagamento sono una delle prime opzioni concrete.
Pochi mesi dopo, a giugno 2021, lo stesso gruppo pubblicherà GPT-J 6B.
Aziende
EleutherAI
Tool
GPT-Neo
Tag
EleutherAIGPT-NeoOpen SourceGPTThe Pile
Fonti