Promptfoo 0.60.0: arriva la generazione automatica di test di red teaming
In una frase Con la versione 0.60.0 il framework open source Promptfoo, nato per valutare prompt e applicazioni LLM, aggiunge la generazione automatica di test di red teaming contro output dannosi, jailbreak e dirottamento dell'applicazione.
Promptfoo è uno strumento open source (licenza MIT) per testare applicazioni basate su LLM: si definiscono prompt, modelli e casi di prova in un file di configurazione e lo strumento esegue le valutazioni.
Con la versione 0.60.0, pubblicata il 25 maggio 2024, Promptfoo aggiunge il red teaming: invece di scrivere a mano gli attacchi, lo strumento genera automaticamente casi di prova che cercano di far produrre all'applicazione contenuti dannosi, di aggirarne le regole (jailbreak) o di usarla per scopi diversi da quelli previsti.
L'idea è trattare la sicurezza di un'app LLM come si trattano i bug: con test ripetibili da rilanciare a ogni modifica.
Aziende
Promptfoo
Tool
Promptfoo
Tag
Fonti