Garak: lo scanner di vulnerabilità open source per LLM
In una frase NVIDIA rilascia Garak, tool open source per vulnerability scanning automatico di LLM: testa hallucination, prompt injection, jailbreak e oltre 80 probe automatici su qualsiasi modello accessibile via API.
Nel mondo della sicurezza tradizionale esistono scanner come Nessus o Nmap che testano automaticamente un sistema alla ricerca di vulnerabilità note. Per i modelli di linguaggio non esisteva niente di equivalente fino a Garak.
Garak funziona come un red teamer automatico: prende un LLM come target, gli invia centinaia di prompt costruiti per far emergere comportamenti problematici, e produce un report con i risultati classificati per tipo di rischio.
Testa categorie come la tendenza a produrre contenuti dannosi, la resistenza ai tentativi di jailbreak, la propensione all'hallucination su fatti verificabili, e la robustezza alle tecniche di prompt injection più comuni. È open source e funziona con OpenAI, Hugging Face, e modelli locali via Ollama.
Aziende
NVIDIA
Tool
Garak
Tag
Fonti