CyberSecEval 2: il benchmark di Meta per i rischi di sicurezza informatica degli LLM
In una frase Meta pubblica CyberSecEval 2, seconda versione della suite open source di Purple Llama per valutare i rischi di sicurezza degli LLM. Aggiunge test su prompt injection, abuso dell'interprete di codice e capacità di exploit, più una misura dei falsi rifiuti. Tutti i modelli testati cedono al prompt injection nel 26-41% dei casi.
Come si misura quanto un modello AI è rischioso dal punto di vista della sicurezza informatica? Non basta chiedere "scrivi un malware" e vedere se rifiuta. I rischi reali sono più sottili: il modello scrive codice con falle senza avvisare? Si lascia manipolare da istruzioni nascoste in un testo? Se ha accesso a un interprete di codice, esegue comandi pericolosi?
Meta aveva pubblicato la prima versione di CyberSecEval a fine 2023 all'interno di Purple Llama, il suo progetto di strumenti open source per la sicurezza dei modelli. La seconda versione, pubblicata ad aprile 2024, mantiene i test sul codice insicuro e sull'aiuto ad attacchi informatici e ne aggiunge di nuovi: prompt injection, abuso di un interprete di codice e capacità di sfruttare vulnerabilità.
Introduce anche una misura del rovescio della medaglia: quante volte un modello rifiuta richieste innocue solo perché sembrano pericolose (False Refusal Rate). Un modello che rifiuta tutto è sicuro ma inutile.
Il risultato più netto: tutti i modelli testati, tra cui GPT-4 e Llama 3 70B, cadono nel prompt injection in una quota tra il 26% e il 41% dei test. Il benchmark è open source e chiunque può usarlo su qualsiasi modello.
Aziende
Meta
Tool
—
Tag
Fonti