WizardCoder: istruzioni evolutive per generare codice a livello GPT-4
In una frase Il team WizardLM applica Evol-Instruct al codice, riscrivendo iterativamente i problemi per aumentarne la complessità. WizardCoder-34B raggiunge il 73.2% su HumanEval, pareggiando GPT-4 al momento del rilascio.
Come si insegna a un modello a risolvere problemi di programmazione difficili se si hanno solo problemi semplici? Il team WizardLM ha risposto a questa domanda con una tecnica chiamata "Evol-Instruct": prendi un problema semplice e riscrivilo automaticamente per renderlo progressivamente più complesso, aggiungendo requisiti, vincoli e casistiche edge.
È come allenarsi in palestra aumentando il peso ogni settimana invece di fare sempre lo stesso esercizio. Applicando questa idea al codice, WizardCoder ha trasformato un modello base relativamente modesto (StarCoder 15B) in un sistema capace di risolvere problemi di programmazione a un livello che all'epoca eguagliava GPT-4.
Il risultato principale era WizardCoder-34B con un punteggio del 73.2% su HumanEval, il benchmark standard per la generazione di codice. Questo ha dimostrato che non servono necessariamente dati proprietari o modelli enormi: una strategia intelligente di costruzione del dataset di addestramento può fare la differenza. La ricerca ha influenzato molti progetti successivi di fine-tuning di modelli di coding.
Aziende
Microsoft Research
Tool
—
Tag
Fonti