UFO: il primo agente robusto per automatizzare applicazioni Windows desktop
In una frase Microsoft Research pubblica UFO (UI-Focused Agent), un agente che osserva lo schermo Windows (app attiva + screenshot + albero controlli), pianifica azioni e le esegue tramite Windows UI Automation e Win32 API. Primo sistema Windows-native con supporto workflow multi-applicazione affidabile.
Automatizzare operazioni su Windows e' sempre stato un lavoro per tool specializzati come AutoIt, Power Automate, o soluzioni RPA costose. UFO propone qualcosa di diverso: un agente AI che "vede" lo schermo come vedrebbe un umano, capisce cosa sta succedendo nelle applicazioni, e sa come interagire con esse.
Il sistema osserva tre cose insieme: lo screenshot del desktop, la lista delle applicazioni aperte, e la struttura interna dei controlli dell'applicazione attiva (quei bottoni, campi di testo, menu). Con queste informazioni pianifica le azioni: clic, digitazione, scorrimento, apertura menu.
La parte importante e' che funziona con qualsiasi applicazione Windows, non solo con quelle che hanno un'API speciale: Word, Excel, il pannello di controllo, software legacy anni '90. Se un umano lo puo' usare cliccando, UFO lo puo' usare programmaticamente.
E' pensato per automazioni multi-applicazione: "prendi i dati da questo file Excel, inseriscili nel sistema SAP, e poi manda una email con il riepilogo in Outlook".
Aziende
Microsoft
Tool
—
Tag
Fonti