NIST AI 600-1: profilo di rischio specifico per l'AI generativa
In una frase NIST pubblica AI 600-1, la guida specifica per i rischi dell'AI generativa: 12 categorie di rischio uniche tra cui data poisoning, allucinazioni, prompt injection, omogenizzazione e sovraidentificazione. Complementa l'AI RMF ed è richiamato nella compliance all'Executive Order Biden.
Il framework generale di gestione del rischio AI del NIST (AI RMF) copre tutti i sistemi AI. Ma l'AI generativa — quella che genera testo, immagini, codice — ha problemi specifici che un framework generico non riesce a catturare bene. Puoi allenare un classificatore immagini per anni senza che produca mai un'allucinazione. Con i modelli generativi è diverso.
NIST ha pubblicato AI 600-1 come documento companion dell'AI RMF specificamente dedicato ai rischi unici dei sistemi generativi. Identifica 12 categorie di rischio che emergono specificamente da questi sistemi: le allucinazioni (il modello inventa fatti convincenti), il data poisoning (i dati di addestramento vengono manipolati), il prompt injection, l'omogenizzazione culturale (tutti i sistemi tendono verso gli stessi output), la confabulazione, i bias amplificati, e altri.
Per ciascuna categoria, il documento fornisce descrizioni, esempi, metriche suggerite e pratiche di mitigazione. È scritto per essere usato da tre tipi di destinatari: i team tecnici che sviluppano sistemi, i team di governance che definiscono le policy, e i responsabili del rischio che devono rendere conto ai board aziendali.
Chiunque stia cercando di dimostrare compliance con le normative AI USA o europee troverà in AI 600-1 un vocabolario comune e una struttura riconosciuta dalle autorità.
Aziende
NIST
Tool
—
Tag
Fonti