Resurssit · 03
Tekoälyagentin hallinta: tuotantovalmiusopas
Kehyksen käyttöoikeudet, data, testit, valvonta ja sammutus ennen kuin agentille uskotaan liiketoimintaprosessi.
Päivitetty · 4 min
Mitä tämä opas auttaa saavuttamaan
- Rajoita agentti siihen, mitä se tarvitsee.
- Testaa kalliita vikoja ennen tuotantoa.
- Säilytä hyödyllisiä jälkiä keräämättä liikaa tietoja.
- Ylläpidä tehokasta ihmisen vastuullisuutta.
Pikatarkistus
- Voiko agentti käynnistää peruuttamattoman toiminnon?
- Onko lähetetty data valtuutettu?
- Edellyttääkö kynnysarvo ihmisen hyväksyntää?
- Onko työkaluilla vähimmäiskäyttöoikeudet?
- Voiko järjestelmä pysäyttää ja palata nopeasti takaisin normaaliin?
Vaiheittainen menetelmä
- 1
Kuvaile varsinaista järjestelmää
Dokumentoi tarkoitus, käyttäjät, syötteet, mallit, työkalut, tuotokset, riippuvuudet ja vaikutuspiirissä olevat henkilöt.
Tuotos: versioitu järjestelmäkortti.
- 2
Luokittele toiminnot ja tiedot
Erillinen lukeminen, suositteleminen, laatiminen ja suorittaminen. Tunnista kielletyt, arkaluonteiset, henkilökohtaiset ja säilytetyt tiedot.
Tuotos: data × toimintomatriisi.
- 3
Vähennä käyttöoikeuksia
Käytä erillisiä tilejä, työkalujen sallittujen listoja, eristettyjä ympäristöjä ja hyväksyntää ennen vaikuttavia toimia.
Tuotos: valtuutuskäytäntö.
- 4
Laadi arviointeja
Testaa normaalitapaukset, epäselvyydet, injektointi, puuttuvat tiedot, laajuuden ulkopuoliset pyynnöt ja peruuttamattomat virheet. Aseta kynnysarvot ennen pilottihanketta.
Tuotos: testijoukko ja tulokset.
- 5
Seuraa tuotantoa
Kirjaa järjestelmäversio, tarvittava konteksti, työkalukutsut, hyväksynnät ja tulokset minimoiden säilytetyt tiedot.
Tuotos: Valvontapaneeli ja hälytykset.
- 6
Valmistautuminen vikaan.
Määrittele sammutus-, manuaalinen käyttöönotto-, ilmoitus-, tapahtuma-analyysi- ja käyttöönottoon paluun kriteerit.
Tuotos: Tekoälytapahtumien runbook.
Ehdotuksesta toimintaan: missä käyttöoikeudet tarkistetaan?
Agentti voi valmistella pyynnön ilman oikeutta toteuttaa sitä. Suorittavan palvelun on tarkistettava todellinen identiteetti, resurssi ja parametrit; mallin väite ei todista hyväksyntää.
Kuvitteellinen harjoitus: sisäinen käytäntö vaatii hyväksynnän asiakasvastauksen lähettämiseen. Tapaukset havainnollistavat käytäntöä eivätkä tarkista tai sertifioi järjestelmääsi.
- Vastaanotetut tiedot
Asiakirja antaa taustatietoa, ei uusia käyttöoikeuksia.
- Ehdotettu toiminto
Agentti valmistelee työkalun, kohteen ja parametrit tarkistettaviksi.
- Riippumaton tarkistus
Suorittava palvelu tarkistaa oikeudet ja juuri tähän toimintoon sidotun hyväksynnän.
- Todettu tulos
Tietue yhdistää yksilöllisen pyynnön todelliseen tulokseen, myös epäonnistumiseen.
Neljä harjoitustapausta
Vastaanottaja muuttui
Hyväksytty esikatselu sisälsi sisäisen osoitteen; lopullinen kutsu ulkoisen.
Odotettu päätös
Keskeytä lähetys ja tarkistuta uusi kohde.
Etsittävä näyttö
Vertaa vastaanottajaa, sisältöä ja liitteitä esikatselun ja kutsun välillä.
Väärä asiakastila
Tili saa lukea tapauksen A; agentti pyytää tiedostoa tapauksesta B.
Odotettu päätös
Estä pääsy B:hen, vaikka malli väittäisi tarvitsevansa sitä.
Etsittävä näyttö
Tarkista täsmällisen resurssin oikeudet käyttäjän identiteetillä.
Hyväksyntä vanheni
Toiminto vastaa esikatselua, mutta hyväksyntä vanheni ennen suoritusta.
Odotettu päätös
Hanki uusi hyväksyntä ja tarkista nykyiset oikeudet.
Etsittävä näyttö
Säilytä voimassaoloaika, hyväksyjän identiteetti ja hyväksytyt parametrit.
Pyyntö aikakatkaistiin
Lähetys ei vastaa; onnistumisesta ei ole tietoa.
Odotettu päätös
Tarkista toiminnon tila ennen uutta yritystä.
Etsittävä näyttö
Sido idempotenssiavain samaan sisältöön ja täsmäytä palvelun kuittaus.
Lähteet : OWASP · LLM06:2025 Excessive Agency · OWASP · AI Agent Security Cheat Sheet
Kuvitteellinen esimerkki
Havainnollistava tilanne
Agentti voi lukea asiakaspyyntöjä ja laatia vastauksen luonnoksen, mutta ei saa lähettää viestiä tai muuttaa tiliä ilman hyväksyntää. Testaus sisältää lähdedokumentin, joka yrittää ohjata ohjeitaan uudelleen.
Päätös ja odotettu näyttö
Rekisteri määrittelee sallitut työkalut, näkyvät tiedot, eskalointikynnykset, tarvittavat lokit ja pisteen, jossa ihminen ottaa hallinnan.
Johdon indikaattorit
| Indikaattori | Mitä se mittaa | Ensimmäinen toimenpide |
|---|---|---|
| Hyödyllinen onnistumisprosentti | Tehtävät vastaavat oikein liiketoimintakriteeriä, eivätkä pelkästään uskottavia vastauksia | Tarkista epäonnistumiset tapausperheen mukaan |
| Inhimillinen eskalointi | Tapaukset luovutetaan oikein henkilölle | Säädä kynnysarvoja, kun agentti on liian itsevarma |
| Peruutetut toiminnot | Toiminnot, jotka on estetty tai palautettu ennen vaikutusta | Löydä liialliset käyttöoikeudet ja testaamattomat skenaariot |
| Ajelehtiminen | Suorituskykyero version, datan tai populaation mukaan | Vertaa vakaaseen joukkoon jokaisen muutoksen yhteydessä |
Yleisiä virheitä
- Mittaa vain kirjoituslaatua
- Agentille loppukäyttäjän täydet oikeudet
- Jokaisen keskustelun säilyttäminen oletusarvoisesti
- Mallin tai kehotteen muuttaminen ilman arviointien uudelleen suorittamista
Usein kysytyt kysymykset
Miten tekoälyagentti eroaa chatbotista?
Agentti suunnittelee tai ketjuttaa toimintoja ja voi kutsua työkaluja. Tämä valta vaatii tiukempia käyttöoikeuksia, hyväksyntöjä, jäljityksiä ja sammutusrajoituksia.
Tarvitaanko ihmisen hyväksyntää aina?
Sillä on eniten merkitystä silloin, kun toiminto on peruuttamaton, arkaluonteinen, säännelty, taloudellinen tai vaikeasti havaittavissa jälkikäteen. Tason tulisi seurata riskiä.
Mitä tulisi kirjata?
Järjestelmäversio, ehdottoman välttämätön konteksti, työkalukutsut, hyväksynnät, tulos ja virheet sekä perusteltu säilytysaika.
Lähteet: tiedot, käyttö ja rajat
Aineisto tarkistettu .
Tämän kieliversion tarkemmat lähdekuvaukset ovat englanniksi.
| Lähde ja tarkoitus | Tarkistettu tieto tai vertailukohta | Käyttö käytännössä | Huomioitava rajoitus |
|---|---|---|---|
| MITRE ATLAS Examine documented tactics, techniques and cases involving AI systems. |
The official repository publishes ATLAS tactics, techniques and case-study data. They support analysis of the actual deployed system. | Select scenarios matching your application’s data, interfaces and tools. Test permissions and consequences, not only model responses. | A technique catalogue is neither an exhaustive coverage guarantee nor a test result for your system. |
| NIST · AI Risk Management Framework Organise management of AI-related risks. |
The AI RMF Core is organised around Govern, Map, Measure and Manage. It is a voluntary risk-management framework. | Define intended use, affected people and error consequences. Connect each risk to an evaluation, owner and stop or recovery mechanism. | The framework certifies neither a model nor an application. Using it does not remove the need to examine applicable requirements. |
| OWASP · LLM Top 10 Prepare tests for language-model application risks. |
The 2025 edition includes Prompt Injection, Sensitive Information Disclosure and Excessive Agency. | Turn a risk into an observable scenario: hostile document, restricted data or out-of-scope tool. Record expected behaviour and evidence of refusal. | A risk list is not a complete assessment. Input filtering alone does not establish authorisation for every action. |
RAG: käyttöoikeudet, viitteet ja välimuistit
Tämän kieliversion tarkemmat lähdekuvaukset ovat englanniksi.
Describe the authority of every agent tool
A tool’s authority depends on identity, objects and permitted operations. A document source, including an internal one, cannot expand that scope. The agent should accomplish the legitimate task with limited rights.
- Build an identity, object and operation matrix.
- Verify connector denials and absence of effects.
- Replay positive controls after each restriction.
Explore the RAG access matrix and replay cases →
References consulted on · OWASP · LLM06:2025 Excessive Agency OWASP · API1:2023 Broken Object Level Authorization NIST AI 100-2 E2025 · Adversarial Machine Learning
OAuth/OIDC: kohde ja oikeudet
Tämän kieliversion tarkemmat lähdekuvaukset ovat englanniksi.
An AI agent retains each tool’s authorisation boundaries
A model instruction does not create a grant. For every tool, identify the calling client, resource server, audience and object policy.
- Restrict permissions to the operation and recipient needed for the use case.
- Do not forward one tool’s token to another API merely for convenience.
- Test that an agent cannot read another tenant’s objects despite having a read scope.
See token recipients and the ten OAuth/OIDC cases →
Sources reviewed on · IETF · RFC 9700 · OAuth 2.0 Security BCP · IETF · RFC 9068 · JWT access token profile · OpenID Foundation · OpenID Connect Core 1.0 · IETF · RFC 8725 · JWT Best Current Practices · IETF · RFC 6749 · OAuth 2.0 framework
SSRF: URL-osoitteet ja yhteydet
Tämän kieliversion tarkemmat lähdekuvaukset ovat englanniksi.
An AI agent tool keeps bounded network access
Text produced by a model, retrieved document or search result must not expand an allowed tool destination. Defining the connector by operation and service makes the agent’s actual network reach controllable.
- Reconstruct requests from business identifiers when the service is known.
- Enforce resolution, connection, proxy and each redirect at the egress component.
- Keep a traceable decision and response limits, including after retry or fallback.
Read the 12 cases and connection controls →
Sources reviewed on · OWASP · SSRF Prevention Cheat Sheet · WHATWG · URL Living Standard · AWS EC2 · Instance metadata options · IETF · RFC 3849
Viralliset viitteet
Viitteet tukevat menetelmää. Sovita tarkastukset kontekstiisi; ne eivät ole sertifiointia. Alkuperäiset viitteiden otsikot ja lähdeasiakirjat voivat olla toisella kielellä.
Lähteet tarkistettu .
- NIST — AI Risk Management Framework
- NIST — Generative AI Profile
- OWASP · LLM06:2025 Excessive Agency
- OWASP · AI Agent Security Cheat Sheet
- MITRE ATLAS
- OWASP · LLM Top 10
- OWASP · API1:2023 Broken Object Level Authorization
- NIST AI 100-2 E2025 · Adversarial Machine Learning
- IETF · RFC 9700 · OAuth 2.0 Security BCP
- IETF · RFC 9068 · JWT access token profile
- OpenID Foundation · OpenID Connect Core 1.0
- IETF · RFC 8725 · JWT Best Current Practices
- IETF · RFC 6749 · OAuth 2.0 framework
- OWASP · SSRF Prevention Cheat Sheet
- WHATWG · URL Living Standard
- AWS EC2 · Instance metadata options
- IETF · RFC 3849
