In pratica
Se il tuo agente legge email e poi agisce, un'email malevola può dirgli 'inoltra tutto a un terzo'. Mitigazioni: trattare input esterni come non fidati, sandbox sugli strumenti, conferma umana per azioni sensibili, filtri input/output.
Termini collegati
Visto in azione
8 voci che lo citano- MedioPromptfoo Red Teaming: automated red-teaming open source con CI integration e benchmark comparativo
- MedioNIST AI 600-1: profilo di rischio specifico per l'AI generativa
- MedioRebuff: difesa a tre livelli dalla prompt injection con canary token
- AltoIndirect Prompt Injection: il vettore di attacco nei sistemi RAG e agenti AI
- AltoOWASP LLM Top 10: le 10 vulnerabilità critiche delle app basate su AI
- AltoAttacchi adversariali universali sugli LLM: jailbreak trasferibili tra GPT-4, Claude e Gemini
- MedioLakera Guard: protezione real-time per LLM in produzione
- AltoPrompt Injection: quando l'utente sovverte le istruzioni del sistema