Nasce EleutherAI: la community per replicare GPT-3 in open source
In una frase Connor Leahy, Sid Black e Leo Gao fondano EleutherAI su Discord con l'obiettivo di replicare GPT-3 e rilasciare modelli, codice e dataset open, dando il via a progetti come GPT-Neo, GPT-J e The Pile.
OpenAI rilascia GPT-3 solo come API a pagamento, chiuso. Un gruppo di ricercatori indipendenti decide che questo non basta: vogliono modelli grandi, ma aperti, che chiunque possa scaricare, studiare e migliorare.
Si organizzano in modo curioso: niente azienda, niente ufficio, solo un canale Discord. Pochi mesi dopo aver iniziato a parlare, sono centinaia di ricercatori volontari, e cominciano a costruire un dataset enorme di testo libero (The Pile) e a scrivere il codice per addestrare un GPT-3 open.
Il risultato concreto arriverà l'anno dopo con GPT-Neo e GPT-J, ma da qui parte un nuovo modello di ricerca AI: aperta, decentralizzata, comunitaria.
Aziende
EleutherAI
Tool
GPT-Neo
Tag
Fonti