Black Forest Labs pubblica i pesi di FLUX 3 Action, world action model da 7B per robot
In una frase Il 23 settembre Black Forest Labs rilascia pesi, codice e report tecnico di FLUX 3 Action, modello da 7B che da immagini, stato del robot e istruzione testuale predice le prossime 32 azioni e il video della scena. Sul benchmark RoboLab-120 BFL dichiara 42,92%, cifra che non coincide con altre riportate nello stesso report.
A luglio Black Forest Labs, il laboratorio tedesco noto per i generatori di immagini FLUX, aveva mostrato in accesso anticipato una variante del suo modello pensata per i robot. Il 23 settembre ha reso pubblici i pesi: FLUX 3 Action è un "world action model" da 7 miliardi di parametri.
Il modello guarda le immagini delle telecamere, legge lo stato del robot e un'istruzione scritta, e produce due cose: le prossime 32 mosse del braccio e una previsione di come cambierà la scena. L'idea è che un modello addestrato soprattutto su video abbia già una sua intuizione della fisica del mondo, riutilizzabile per muovere oggetti reali.
Il modello base non è un robot pronto all'uso: va adattato con dati di teleoperazione del proprio braccio. In un test su robot reale condotto con Positronic Robotics su un braccio Franka ha completato 28 tentativi su 30. Secondo gradually.ai i pesi sono sotto FLUX Kommunity License, non una licenza commerciale standard.
Aziende
Black Forest Labs
Tool
FLUX 3 Action, LeRobot
Tag
Fonti