Resurssit · 44
Kehotusinjektio: testaa tekoälyagentin luottamusrajoja
Tarkista, ettei asiakirja, hakutulos tai viesti voi valtuuttaa toimintoa käyttäjän puolesta.
Päivitetty · 3 min
Mitä tämä opas auttaa saavuttamaan
- Erota data ohjeista.
- Rajoita tehtävässä käytettävissä olevia toimintoja.
- Testaa vastausten taustalla olevia todellisia vaikutuksia.
- Dokumentoi rajoitukset ja regressiot.
Pikatarkistus
- Mitä ulkoista sisältöä agentti lukee?
- Mitä toimintoja se voi käynnistää ilman hyväksyntää?
- Valvotaanko valtuutusta mallin ulkopuolella?
- Estääkö suullinen kieltäytyminen todella työkalukutsun?
- Miten poikkeava skenaario voidaan pysäyttää?
Vaiheittainen menetelmä
- 1
Inventoi rajat.
Listaa viestit, verkkosivut, asiakirjat, hakutulokset, liitteet ja työkalujen tulokset. Käsittele niitä datana, jota voi tulkita ilman valtuutusta. Sisällytä kanavat, jotka kuljettavat tekstiä tai multimodaalista sisältöä.
Toimitettava: syötteiden ja käytettävissä olevien toimintojen kartta.
- 2
Määrittele kielletyt vaikutukset.
Kuvaile estettävät haitat: laajuuden ulkopuolinen käyttö, luvaton julkaisu, tiedonsiirto tai tilimuutokset. Aseta havaittavissa oleva tulos jokaiselle skenaariolle; pelkän vastaustekstin perusteella voidaan ohittaa jo suoritettu toiminto.
Toimitettava: uhkaskenaariot ja invariantit.
- 3
Eristä testiympäristö.
Käytä selkeästi merkittyjä kuvitteellisia tilejä, asiakirjoja ja kohteita testimerkkien ja simuloitujen työkalujen avulla. Poista käytöstä todellinen lähetys- ja tuotantokäyttö. Säilytä malli-, konfiguraatio-, korpus- ja liittimien versiot tapausten toistamista varten.
Toimitettava: versioitu ympäristö ja testijoukko.
- 4
Toista vastakkaiset syötteet.
Sijoita testilähteeseen käsky, joka on ristiriidassa tehtävän kanssa, pyytää laajuuden ulkopuolista toimintoa tai väittää väärää valtuutusta. Vaihtele kieltä, sijoittelua, muotoa ja lähdeyhdistelmiä. Mittaa työkalun kutsumista, argumentteja ja todellista vaikutusta.
Tuotanto: onnistuneiden, estettyjen ja ratkaisemattomien tapausten jälkiä.
- 5
Vahvista ulkoisia kontrolleja.
Pakota työkaluissa vähimmäiskäyttöoikeudet, argumenttien validointi, luku-/kirjoituserottelu ja sallitut kohteet. Vaadi kontekstuaalista hyväksyntää arkaluontoisille toiminnoille. Pelkkä RAG ja hylkäyskäsky eivät poista injektointiriskiä.
Tuotanto: suoritettavat säännöt ja ohitustestit.
- 6
Seuraa muutoksia.
Toista tapaukset uudelleen mallin, korpusten, työkalujen tai sääntöjen muutosten jälkeen. Seuraa myös estettyjä laillisia tehtäviä. Julkaise testattu laajuus ja tunnetut rajoitukset; onnistuminen pienessä testijoukossa ei takaa haavoittuvuuksien puuttumista.
Tuotanto: regressioraportti ja käyttöönottopäätös.
Kuvitteellinen esimerkki
Havainnollistava tilanne
Havainnollistava tilanne: avustaja tiivistää testiasiakirjan, joka pyytää tietojen lähettämistä ulkoiseen kohteeseen.
Päätös ja odotettu näyttö
Työkalu hylkää kyseisen kohteen riippumatta luodusta tekstistä. Testi tarkistaa, ettei mitään lähetetty ja että laillinen yhteenveto toimii edelleen.
Mekanismien erottaminen
| Mekanismi | Tarkoitus | Vahvistus tai rajoitus |
|---|---|---|
| Syöttösuodatin | Havaitsee joitakin epäilyttäviä kaavoja | Saattaa missata uuden sanamuodon |
| Malliohje | Kuvailee odotettua rajaa | Ei ole käyttöoikeuksien hallinta |
| Työkalujen valvonta | Hylkää luvaton toiminto | Täytyy tarkistaa identiteetti, objekti ja argumentit |
Johdon indikaattorit
| Indikaattori | Mitä se mittaa | Ensimmäinen toimenpide |
|---|---|---|
| Kielletyt toiminnot | Tapaukset, jotka aiheuttavat soveltamisalan ulkopuolisia vaikutuksia | Estä ja tutki jokainen vaikutus |
| Väärät kieltäytymiset | Laillisten tehtävien estäminen | Tarkista laajentamatta käyttöoikeuksia |
| Kattavuus | Testatut kanavat ja työkalut | Ilmoita sokeita pisteitä |
Yleisiä virheitä
- Salaisuuksien lisääminen testikehotteisiin
- Testaa vain näkyviä vastauksia
- Olettaen, että sisäisiin asiakirjoihin luotetaan aina
- Väittää absoluuttista suojaa muutaman testin jälkeen
Usein kysytyt kysymykset
Estääkö RAG injektion?
Ei. Haetut asiakirjat voivat itse sisältää vastakkaisia ohjeita. Lähteet ovat edelleen dataa, jota käsitellään valvottujen rajojen sisällä.
Pitäisikö jokainen epäilyttävä asiakirja estää?
Se riippuu tehtävästä; agentti voi usein analysoida asiakirjan noudattamatta sen ohjeita tai käyttämättä kirjoitustyökaluja.
Miten tulokset tulisi julkaista?
Ilmoita versiot, laajuus, testatut vaikutukset, rajoitukset ja korjaukset. Sulje pois työssä käytetyt salaisuudet ja asiakasasiakirjat.
Viralliset viitteet
Viitteet tukevat menetelmää. Sovita tarkastukset kontekstiisi; ne eivät ole sertifiointia. Alkuperäiset viitteiden otsikot ja lähdeasiakirjat voivat olla toisella kielellä.
