Gemini Robotics 1.5: DeepMind fa pianificare e ragionare i robot prima di agire
In una frase Google DeepMind presenta Gemini Robotics 1.5 (modello visione-linguaggio-azione) e Gemini Robotics-ER 1.5 (ragionamento incarnato e pianificazione). ER 1.5 è disponibile agli sviluppatori nella Gemini API su Google AI Studio; 1.5 solo per partner selezionati. Compiti appresi su ALOHA 2 funzionano anche su Franka bi-braccio e sull'umanoide Apollo senza riaddestramento.
Google DeepMind presenta due modelli che lavorano in coppia per far svolgere ai robot compiti in più passaggi.
Gemini Robotics-ER 1.5 fa da "cervello che pianifica": capisce lo spazio intorno al robot, stima i progressi del lavoro e può usare strumenti come Google Search o funzioni definite dall'utente. Poi passa, un passo alla volta, istruzioni in linguaggio naturale a Gemini Robotics 1.5.
Gemini Robotics 1.5 è il modello che trasforma immagini e istruzioni in comandi motori. La novità è che ragiona prima di muoversi e sa spiegare in linguaggio naturale cosa sta facendo.
Il risultato più interessante è il trasferimento tra robot diversi: compiti insegnati solo al robot a due braccia ALOHA 2 hanno funzionato anche sul Franka a due braccia e sull'umanoide Apollo di Apptronik, senza riaddestramento, e viceversa. ER 1.5 è disponibile agli sviluppatori tramite la Gemini API in Google AI Studio, mentre Gemini Robotics 1.5 resta riservato a partner selezionati.
Aziende
Google DeepMind
Tool
Gemini Robotics 1.5, Gemini Robotics-ER 1.5
Tag
Fonti