Devin: Cognition presenta il suo 'AI software engineer' autonomo
In una frase Cognition annuncia Devin, agente che pianifica ed esegue task di sviluppo con shell, editor e browser in una sandbox. Dichiara 13,86% su SWE-bench, misurato su un sottoinsieme casuale del 25% (570 task su 2.294).
Il 12 marzo 2024 la startup Cognition presenta Devin, che descrive come un "AI software engineer": un agente a cui si affida un compito di sviluppo e che lo porta avanti da solo, leggendo il codice, scrivendo modifiche, eseguendole e correggendo gli errori.
Gli esempi mostrati nell'annuncio includono la creazione e il deploy su Netlify di un sito con il Gioco della vita, la correzione di un bug nella libreria sympy, il fine-tuning di un modello partendo da un repository GitHub e un lavoro preso da Upwork.
Il numero che fa discutere è il risultato su SWE-bench: 13,86% di issue risolte, contro un precedente massimo di 1,96%. Il dato però non è calcolato sull'intero benchmark ma su un campione casuale di un quarto dei task. L'accesso al prodotto all'inizio è limitato.
Aziende
Cognition
Tool
Devin
Tag
Fonti