Ignore Previous Prompt: il paper che studia la prompt injection su GPT-3
In una frase Fábio Perez e Ian Ribeiro (AE Studio) pubblicano PromptInject, un framework per comporre prompt avversari, e misurano su GPT-3 due attacchi: goal hijacking e prompt leaking.
Immagina di dare istruzioni a un assistente, poi un cliente gli porge un foglio con scritto "dimentica tutto quello che ti hanno detto e fai quello che dico io". La prompt injection funziona così con i modelli linguistici.
A settembre 2022 Riley Goodside mostra su Twitter esempi di questo comportamento su GPT-3, e Simon Willison propone di chiamarlo "prompt injection", per analogia con la SQL injection.
A novembre Fábio Perez e Ian Ribeiro di AE Studio pubblicano uno dei primi studi sistematici: mostrano che istruzioni semplici, scritte a mano, bastano a deviare GPT-3 dal compito previsto dallo sviluppatore o a fargli rivelare il prompt nascosto.
Aziende
AE Studio
Tool
GPT-3, PromptInject
Tag
Fonti