The Pile: il dataset open source da 825 GiB per addestrare LLM
In una frase EleutherAI pubblica The Pile, un corpus di testo inglese da 825 GiB composto da 22 sotto-dataset (Common Crawl filtrato, PubMed, Books3, arXiv, GitHub, Stack Exchange e altri), pensato per il pre-training di modelli linguistici open.
Per addestrare un modello come GPT-3 serve una quantità enorme di testo. OpenAI non ha pubblicato il proprio dataset, e questo rende difficile per altri replicarne i risultati.
EleutherAI, un collettivo di ricercatori volontari, pubblica la propria risposta: The Pile, 825 GiB di testo scaricabile. Non è solo pagine web: mescola articoli scientifici, codice open source, libri, discussioni di Stack Exchange, sottotitoli, brevetti, sentenze, email.
Diventa la base dei primi modelli open di EleutherAI (GPT-Neo, GPT-J, GPT-NeoX) e di molta ricerca sui language model.
Aziende
EleutherAI
Tool
The Pile
Tag
Fonti