GPT-J 6B: il modello open source che batte GPT-3 Curie su molti benchmark
In una frase EleutherAI rilascia GPT-J, modello da 6B parametri addestrato in JAX su TPU, con prestazioni paragonabili a GPT-3 Curie, distribuito sotto licenza Apache 2.0.
EleutherAI fa un altro passo: rilascia GPT-J, un modello da 6 miliardi di parametri, gratis e con licenza permissiva. È circa 5 volte più grande di GPT-Neo 2.7B e su molti test si avvicina o supera GPT-3 Curie (il secondo modello più grande di OpenAI a quel tempo).
L'eccezionale è che è stato addestrato da un singolo ricercatore (Ben Wang) con TPU donate da Google attraverso il programma TRC. Niente data center privato, niente milioni di dollari di GPU.
Per la community open source diventa il modello di riferimento per fine-tuning, chatbot, esperimenti. Resterà il "best open" fino all'arrivo di Llama nel 2023.
Aziende
EleutherAI
Tool
GPT-J
Tag
Fonti