Code as Policies: il robot programma se stesso da istruzione naturale
In una frase Google mostra come un LLM generi direttamente codice robot eseguibile da istruzioni in linguaggio naturale, senza fine-tuning, usando composizione gerarchica di funzioni.
Invece di addestrare un modello separato per ogni tipo di task robotico, Code as Policies usa un LLM generale per generare programmi Python che il robot esegue direttamente. L'istruzione "metti il cubo rosso sopra il blu" diventa codice con chiamate a funzioni di visione, manipolazione e controllo.
Il punto chiave è la composizione gerarchica: l'LLM può scrivere funzioni che chiamano altre funzioni, costruendo soluzioni complesse da blocchi semplici già disponibili. Non serve fine-tuning robotico specifico.
L'approccio funziona sia su robot di manipolazione sia su droni, e generalizza a istruzioni nuove mai viste durante lo sviluppo.
Aziende
Tool
Code as Policies, PaLM, Codex
Tag
Fonti