Aider: coding agent da terminale, stato dell'arte su SWE-bench Lite con il 26,3%
In una frase Il 22 maggio 2024 Aider, coding assistant open source da terminale con commit git automatici, risolve il 26,3% di SWE-bench Lite alternando GPT-4o e Claude 3 Opus, sopra il 20,3% dell'Amazon Q Developer Agent. Il 2 giugno arriva al 18,9% su SWE-bench completo, contro il 13,9% di Devin sugli stessi 570 casi.
Aider è un assistente per il codice che si usa dal terminale: gli si dà un'istruzione in linguaggio naturale, modifica i file del repository locale e crea un commit git per ogni modifica. Lo sviluppatore resta in controllo tramite git: se il risultato non va, basta annullare il commit.
A maggio 2024 Aider ottiene il miglior risultato pubblicato su SWE-bench Lite, un insieme di 300 issue reali tratte da progetti Python su GitHub: ne risolve 79, cioè il 26,3%.
A inizio giugno lo stesso approccio raggiunge il 18,9% su un campione di 570 issue di SWE-bench completo, lo stesso su cui Devin aveva dichiarato il 13,9%.
Aziende
Aider
Tool
Aider, GPT-4o, Claude 3 Opus
Tag
Fonti