Indirect Prompt Injection: istruzioni nascoste nei dati che l'LLM recupera
In una frase Greshake, Abdelnabi e colleghi (Saarland University, CISPA, sequire technology) mostrano che un attaccante può controllare un'applicazione basata su LLM senza parlarle direttamente, nascondendo istruzioni in contenuti che il modello recupererà. Gli attacchi sono dimostrati su Bing Chat e su motori di completamento del codice.
Il prompt injection classico è quando un utente scrive all'AI qualcosa come "ignora le istruzioni precedenti e fai X". Il paper di Greshake e colleghi pone un'altra domanda: e se a dare le istruzioni non fosse l'utente?
Quando un'applicazione AI legge pagine web, documenti o email per aiutarti, quei contenuti finiscono nello stesso flusso di testo delle istruzioni. Un attaccante può quindi nascondere comandi in una pagina o in un documento: quando il modello li legge, può eseguirli. È l'indirect prompt injection.
Gli autori lo hanno dimostrato su sistemi reali: per esempio, testo invisibile in una pagina web aperta dall'utente trasformava Bing Chat in un truffatore che cercava di farsi dare dati personali. Microsoft ha poi introdotto delle mitigazioni, di efficacia non chiara secondo gli autori.
Il messaggio centrale è che nelle applicazioni con LLM il confine tra dati e istruzioni si confonde, e ogni contenuto esterno che il modello legge diventa una superficie d'attacco.
Aziende
CISPA, Saarland University, sequire technology
Tool
—
Tag
Fonti