WizardCoder-Python-34B: 73,2% su HumanEval con Evol-Instruct applicato al codice
In una frase Il team WizardLM rilascia WizardCoder-Python-34B-V1.0, che ottiene 73,2% pass@1 su HumanEval e, secondo gli autori, supera GPT-4 nella versione del 15 marzo 2023, ChatGPT-3.5 e Claude 2. Segue WizardCoder-15B di giugno, presentato nel paper che adatta Evol-Instruct al codice.
Evol-Instruct è una tecnica del team WizardLM: si prende un insieme di istruzioni di partenza e si chiede a un modello linguistico di riscriverle in versioni via via più difficili, poi si addestra un modello su questi esempi evoluti. WizardCoder applica l'idea alla programmazione.
La prima versione, WizardCoder-15B (giugno 2023), secondo gli autori superava su HumanEval modelli chiusi come Claude-Plus e Bard. Il 26 agosto 2023, due giorni dopo l'uscita di Code Llama di Meta, arriva WizardCoder-Python-34B-V1.0 con 73,2% pass@1 su HumanEval.
Il confronto con GPT-4 va letto con attenzione: il 73,2% supera il valore pubblicato per GPT-4 a marzo 2023, ma misurazioni successive di GPT-4 sullo stesso benchmark sono più alte (88,4 nella tabella dello stesso repository).
Aziende
Microsoft
Tool
—
Tag
Fonti