Singapore AI Verify — Il Framework di Testing Pratico che gli USA Stanno Copiando

Cos'è: AI Verify è un framework di testing per sistemi AI sviluppato dall'Infocomm Media Development Authority (IMDA) di Singapore e lanciato nel maggio 2022 al World Economic Forum di Davos. Combina undici principi etico-tecnici con un toolkit Python open-source che esegue test automatizzati su modelli AI in produzione. Nel 2023 la governance è stata trasferita all'AI Verify Foundation, organismo internazionale non-profit che oggi conta oltre 100 membri tra aziende tech, istituzioni accademiche e governi. Il modello è stato adottato come riferimento da NIST negli USA e dall'UK AI Safety Institute.

Il contesto: Singapore come laboratorio di "soft governance"

Singapore non ha una legge AI vincolante e probabilmente non ne avrà una nel medio periodo. La scelta è strategica: in un paese di 5,9 milioni di abitanti che si è posizionato come hub tech regionale per il sud-est asiatico, la regolamentazione hard creerebbe svantaggio competitivo rispetto a Hong Kong, Tokyo e Sydney. Singapore ha optato per un modello alternativo, che gli osservatori chiamano "soft governance": pubblicare framework operativi, toolkit aperti e linee guida non vincolanti, sperando che vengano adottati volontariamente dall'industria e che diventino standard de facto.

Il precedente di riferimento è il Model AI Governance Framework, pubblicato dalla Personal Data Protection Commission singaporiana nel 2019 e aggiornato nel 2020 e nel 2024. Il documento articola principi di accountability, explainability e fairness in modo astratto. AI Verify è la sua materializzazione operativa: ciò che il Model Framework prescrive in modo qualitativo, AI Verify lo testa in modo quantitativo, con metriche misurabili e procedure documentate.

Il vantaggio di questo approccio è la velocità di iterazione. Mentre l'EU AI Act ha impiegato oltre tre anni dal primo draft alla pubblicazione finale, AI Verify è stato concepito, prototipato, lanciato pubblicamente e iterato in versione 2.0 nell'arco di trentasei mesi. Singapore può aggiornare il framework ogni volta che emergono nuovi rischi — ad esempio i large language model dopo il 2022 — senza dover attraversare un processo legislativo formale.

Gli undici principi e la doppia natura del testing

AI Verify articola undici principi raggruppati in tre cluster. Il cluster trasparenza include explainability, repeatability/reproducibility, e transparency dei processi decisionali. Il cluster equità include data governance, fairness, robustness, safety, e human agency & oversight. Il cluster accountability include accountability, sicurezza informatica, e inclusive growth. La struttura è deliberatamente allineata a quella dell'OECD AI Principles del 2019 — una scelta diplomatica che facilita l'interoperabilità con framework di altri paesi.

L'aspetto innovativo è la doppia natura del testing. Per ogni principio, AI Verify distingue tra "technical tests" — verifiche eseguibili in modo automatizzato sul modello — e "process checks" — verifiche procedurali sull'organizzazione che ha sviluppato e dispiegato il modello. La fairness, ad esempio, viene valutata sia attraverso metriche statistiche di disparate impact su attributi protetti (technical), sia attraverso una checklist di pratiche organizzative sulla composizione dei team di sviluppo, sui processi di data governance e sui meccanismi di audit interno (process).

Questa duplicità è metodologicamente sofisticata. Riconosce che la safety di un sistema AI non è proprietà esclusiva del modello ma del modello-più-organizzazione: un modello tecnicamente robusto deployato da un'organizzazione senza processi di monitoring continuo è meno sicuro di un modello meno robusto ma supportato da pratiche operative mature. Il framework cattura entrambi i livelli e produce un report integrato.

Il toolkit open-source: Python, GitHub, plugin architecture

AI Verify non è solo un documento di principi: è anche un toolkit software effettivamente eseguibile, pubblicato su GitHub sotto licenza Apache 2.0. Il toolkit è scritto in Python, modulare, e organizzato attorno a un'architettura a plugin che consente all'utente di selezionare i test rilevanti per il proprio caso d'uso senza dover eseguire l'intera batteria.

I test technical inclusi nella distribuzione standard coprono fairness metrics (statistical parity, equal opportunity, disparate impact ratio), robustness contro adversarial perturbations, explainability tramite SHAP e LIME, e privacy attraverso membership inference attack simulations. Il toolkit accetta come input modelli serializzati in formati standard — pickle, joblib, ONNX, oltre a wrapper per TensorFlow, PyTorch e scikit-learn — e produce in output un report HTML/PDF dettagliato con metriche numeriche e interpretazioni qualitative.

L'architettura a plugin ha effetti virtuosi sull'ecosistema. Aziende come IBM, Microsoft, Google e Salesforce hanno contribuito plugin proprietari che testano aspetti specifici dei loro modelli o dei loro contesti applicativi. Università come Singapore Management University e KAIST hanno contribuito test per fenomeni di emergent behavior nei large language model. Il risultato è una libreria che cresce organicamente, con vantaggi sia per il framework (più test disponibili) sia per i contributori (visibilità tecnica e legittimazione del proprio approccio).

AI Verify Foundation: 100+ membri tra aziende e governi

Nel giugno 2023, Singapore ha annunciato la creazione dell'AI Verify Foundation, un'organizzazione non-profit internazionale che ha preso in carico la governance del framework e del toolkit. La Foundation è strutturalmente indipendente dall'IMDA pur mantenendone il supporto, e opera con un modello di membership aperto: aziende, istituzioni accademiche e governi possono aderire come "premier members" o "general members" con livelli di contribuzione differenziati.

Al momento della scrittura, la Foundation conta oltre 100 membri attivi, incluse tutte le big tech americane (Google, Microsoft, IBM, Salesforce, Meta), aziende asiatiche di rilievo (NEC, Fujitsu, Samsung SDS), e governi che hanno aderito come osservatori o partner (Ministry of Digital Affairs di Taiwan, Personal Data Protection Office di Hong Kong, alcuni ministeri europei). La struttura governance prevede un Board con rappresentanti dei premier members, working groups tematici, e un processo di revisione tecnica trasparente per nuovi plugin.

Questo modello — Foundation indipendente, membership a contribuzione, governance multistakeholder — è un'innovazione istituzionale rilevante. Differisce sia dal modello di standard-setting tradizionale (ISO, IEEE) che opera attraverso comitati di esperti senza coinvolgimento commerciale diretto, sia dal modello vendor-led (PyTorch Foundation, Cloud Native Computing Foundation) che è focalizzato su tecnologie senza esplicito mandato regolatorio. AI Verify Foundation cattura ciò che funziona di entrambi: la legittimità istituzionale del primo, l'agilità operativa del secondo.

L'influenza su US NIST e UK AISI

Il segnale più forte sulla qualità del framework AI Verify è il fatto che NIST e UK AI Safety Institute ne hanno esplicitamente adottato l'impostazione. Il NIST AI Risk Management Framework pubblicato nel gennaio 2023 cita AI Verify tra le fonti consultate e adotta la stessa struttura concettuale a tre cluster (govern, map/measure, manage). Più significativamente: il NIST GenAI Profile pubblicato nel 2024 include tre tipologie di test — performance, capability, risk — direttamente riconducibili alla doppia natura technical/process del framework singaporiano.

L'UK AI Safety Institute, fondato a novembre 2023, ha siglato nel maggio 2024 un memorandum of understanding bilaterale con IMDA Singapore per la condivisione di metodologie di evaluation. La cooperazione tecnica include scambio di test specifici per large language model, allineamento di tassonomie sui dangerous capabilities, e coordinamento sui report pubblici. In altre parole: un framework open-source pubblicato da un'autorità di un paese di 5,9 milioni di abitanti è diventato uno dei due o tre punti di riferimento metodologici della governance AI a livello globale.

La lezione è che la qualità tecnica di un framework, accompagnata da una strategia open-source intelligente e da una governance multistakeholder credibile, può imporre standard de facto in assenza di leve regolatorie hard. Singapore ha vinto il proprio gioco diplomatico-tecnologico esportando uno strumento che semplifica la vita di chiunque debba dimostrare la safety dei propri sistemi AI, in qualsiasi giurisdizione. Per gli altri paesi, il calcolo è semplice: scegliere se sviluppare framework proprietari interni con risorse limitate, o costruire sopra una base esistente già adottata da peer credibili. La seconda opzione vince quasi sempre — e questo è precisamente il risultato che Singapore aveva pianificato.

---