PAIR: jailbreak automatico LLM-contro-LLM in meno di venti query
In una frase Ricercatori della University of Pennsylvania presentano PAIR: un LLM attaccante affina iterativamente i propri prompt contro un LLM bersaglio con solo accesso black-box, trovando spesso un jailbreak in meno di venti query e senza intervento umano.
Trovare un jailbreak, cioè un prompt che convince un modello a ignorare le proprie regole di sicurezza, richiedeva di solito molto lavoro manuale: scrivere un prompt, vedere la risposta, correggerlo, riprovare.
I ricercatori della University of Pennsylvania automatizzano questo processo con PAIR (Prompt Automatic Iterative Refinement). Un secondo modello linguistico fa da attaccante: propone un prompt, legge la risposta del modello bersaglio e un giudizio su quanto l'attacco sia riuscito, poi riscrive il prompt. Il metodo si ispira alle tecniche di ingegneria sociale.
PAIR non ha bisogno di accedere ai pesi del modello: legge solo le risposte testuali, come un utente qualunque. Secondo il paper trova spesso un jailbreak in meno di venti query, molti ordini di grandezza in meno rispetto agli attacchi automatici basati sull'ottimizzazione dei token, e funziona anche su modelli chiusi come GPT-3.5, GPT-4 e PaLM-2.
Aziende
UPenn
Tool
—
Tag
Fonti