GPT-Neo: il primo clone open source di GPT-3
In una frase EleutherAI rilascia GPT-Neo 1.3B e 2.7B, modelli linguistici open source addestrati su The Pile, primo tentativo serio di replicare l'architettura GPT-3 con pesi pubblici.
Un collettivo di ricercatori indipendenti chiamato EleutherAI, nato su Discord, pubblica GPT-Neo: un modello di linguaggio simile a GPT-3, ma con i pesi scaricabili gratis da chiunque.
Fino a quel momento i grandi modelli linguistici erano chiusi dentro le aziende: pagavi l'API o niente. GPT-Neo è la prima crepa seria in quel muro. Non è grande come GPT-3, ma per chi vuole studiare, sperimentare, o costruirci qualcosa sopra senza dipendere da un'azienda, è la prima vera opzione.
Da qui parte tutta l'ondata open source che porterà a Llama, Mistral, Mixtral, DeepSeek.
Aziende
EleutherAI
Tool
GPT-Neo
Tag
Fonti