StarCoder: modello open per il codice con dati di addestramento trasparenti
In una frase BigCode, il progetto guidato da Hugging Face e ServiceNow, rilascia StarCoderBase e StarCoder: 15,5 miliardi di parametri, contesto di 8K token, addestrati su 1 trilione di token di codice con licenza permissiva da The Stack, con un meccanismo di opt-out per gli autori.
Il 4 maggio 2023 BigCode, una collaborazione aperta guidata da Hugging Face e ServiceNow, rilascia StarCoder, un modello da circa 15 miliardi di parametri per scrivere e completare codice in oltre 80 linguaggi di programmazione.
La novità sta soprattutto in come è stato costruito. I dati vengono da The Stack, una raccolta di codice di GitHub con sole licenze permissive, e chi aveva pubblicato codice poteva chiedere di esserne escluso. Dati personali come nomi, password ed email sono stati rimossi.
Prima di StarCoder i modelli di coding più forti erano chiusi, come quelli dietro GitHub Copilot. StarCoder eguaglia o supera code-cushman-001 di OpenAI sui benchmark principali, con pesi scaricabili e una licenza che consente l'uso commerciale con alcune restrizioni d'uso responsabile.
Aziende
HuggingFace, ServiceNow
Tool
StarCoder
Tag
Fonti