Risorse · 44
Iniezione di prompt: verifica dei limiti di fiducia di un agente IA
Verifica che un documento, un risultato di ricerca o un messaggio non possano autorizzare un'azione per conto dell'utente.
Aggiornato · 3 min
Obiettivi di questa guida
- Separare i dati dalle istruzioni.
- Limitare le azioni disponibili al compito.
- Testare gli effetti reali dietro le risposte.
- Documentare limitazioni e regressioni.
Verifica rapida
- Quali contenuti esterni legge l'agente?
- Quali azioni può attivare senza approvazione?
- L'autorizzazione viene applicata al di fuori del modello?
- Un rifiuto verbale impedisce effettivamente la chiamata di uno strumento?
- Come si può arrestare uno scenario divergente?
Metodo passo passo
- 1
Inventario dei confini
Elencare messaggi, pagine web, documenti, risultati di ricerca, allegati e output degli strumenti. Trattarli come dati da interpretare senza autorità sui permessi. Includere canali che trasportano testo o contenuti multimodali.
Risultato: mappa degli input e delle azioni disponibili.
- 2
Definire gli effetti proibiti
Descrivere i danni da prevenire: accesso fuori ambito, pubblicazione non autorizzata, trasferimento di dati o modifiche all'account. Impostare un risultato osservabile per ogni scenario; valutare solo il testo della risposta può non rilevare un'azione già eseguita.
Risultato: scenari di minaccia e invarianti.
- 3
Isolare l'ambiente di test
Utilizzare account, documenti e destinazioni fittizi chiaramente etichettati con marcatori di test e strumenti simulati. Disabilitare l'invio reale e l'accesso alla produzione. Conservare le versioni del modello, della configurazione, del corpus e del connettore per riprodurre i casi.
Risultato: ambiente versionato e set di test.
- 4
Riproduzione di input avversari
Inserire in un codice sorgente di test un'istruzione che contraddica l'attività, richieda un'azione fuori ambito o affermi una falsa autorità. Variare linguaggio, posizionamento, formato e combinazioni di codice sorgente. Misurare l'invocazione dello strumento, gli argomenti e l'effetto effettivo.
Risultato: tracce di casi riusciti, bloccati e irrisolti.
- 5
Rafforzare i controlli esterni
Applicare autorizzazioni minime, convalida degli argomenti, separazione lettura/scrittura e destinazioni consentite negli strumenti. Richiedere l'approvazione contestuale per le operazioni sensibili. RAG e un'istruzione di rifiuto da sole non eliminano il rischio di injection.
Risultato: regole eseguibili e test di bypass.
- 6
Tracciare le modifiche
Riprodurre i casi dopo modifiche al modello, al corpus, agli strumenti o alle regole. Tracciare anche le attività legittime che vengono bloccate. Pubblicare l'ambito testato e i limiti noti; il successo su un piccolo set di test non stabilisce l'assenza di vulnerabilità. Risultato atteso per il
Risultato: report di regressione e decisione di implementazione.
Esempio pratico fittizio
Situazione illustrativa
Situazione esemplificativa: un assistente riassume un documento di prova che richiede l'invio di informazioni a una destinazione esterna.
Decisione e prove attese
Lo strumento rifiuta tale destinazione indipendentemente dal testo generato. Il test verifica che non sia stato inviato nulla e che il riepilogo legittimo funzioni ancora.
Distinguere i meccanismi
| Meccanismo | Scopo | Verifica o limitazione |
|---|---|---|
| Filtro di input | Rileva alcuni modelli sospetti | Potrebbe non rilevare nuove formulazioni |
| Istruzioni modello | Descrivi il limite previsto | Non è un controllo di accesso |
| Applicazione dello strumento | Rifiuta un'operazione non autorizzata | Deve verificare identità, oggetto e argomenti |
Indicatori di gestione
| Indicatore | Cosa misura | Prima azione |
|---|---|---|
| Azioni proibite | Casi che causano effetti fuori ambito | Blocca e indaga su ogni effetto |
| Rifiuti falsi | Attività legittime impedite | Revisiona senza ampliare le autorizzazioni |
| Copertura | Canali e strumenti effettivamente testati | Dichiara punti ciechi |
Errori comuni
- Inserire segreti nei prompt di test
- Testare solo le risposte visibili
- Presumere che i documenti interni siano sempre affidabili
- Affermare una protezione assoluta dopo pochi test
Domande frequenti
RAG impedisce l'iniezione di codice?
No. I documenti recuperati possono a loro volta contenere istruzioni malevole. Le fonti rimangono dati da elaborare entro limiti controllati.
Ogni documento sospetto dovrebbe essere bloccato?
Dipende dal compito; un agente può spesso analizzare un documento senza seguirne le istruzioni o senza disporre di strumenti di scrittura.
Come dovrebbero essere pubblicati i risultati?
Indicare le versioni, l'ambito, gli effetti testati, le limitazioni e le correzioni. Escludere i segreti e i documenti del cliente utilizzati nel lavoro.
Riferimenti ufficiali
I riferimenti supportano il metodo. Adattare i controlli al proprio contesto; non costituiscono una certificazione. I titoli dei riferimenti originali e i documenti di origine potrebbero essere in un'altra lingua.
