Rebuff: rilevatore open source di prompt injection a quattro livelli, con canary token
In una frase Rebuff è un framework open source auto-rinforzante per rilevare la prompt injection: euristiche, un LLM dedicato, un database vettoriale degli attacchi già visti e canary token per scoprire le fughe di dati. Presentato sul blog di LangChain con un'integrazione pronta.
Difendersi dalla prompt injection è difficile perché non esiste un filtro perfetto. Rebuff adotta un approccio a strati: più livelli di difesa con caratteristiche diverse, così che aggirarne uno non significa automaticamente aggirare tutti gli altri.
I livelli sono quattro: euristiche che filtrano l'input sospetto prima che arrivi al modello; un LLM dedicato che analizza il prompt in cerca di attacchi; un database vettoriale che conserva gli embedding degli attacchi precedenti per riconoscere quelli simili; e un "canary token", una parola segreta inserita nel prompt che non dovrebbe mai comparire nella risposta. Se compare, il prompt è trapelato e l'input che l'ha provocato viene memorizzato per bloccare tentativi futuri: da qui il termine "auto-rinforzante".
Gli stessi autori avvertono che è un prototipo e che non garantisce una protezione al 100%.
Aziende
Protect AI
Tool
Rebuff, LangChain
Tag
Fonti