Ressourcen · 03
KI-Agenten-Governance: ein Leitfaden zur Produktionsbereitschaft
Frame-Berechtigungen, Daten, Tests, Überwachung und Herunterfahren, bevor einem Agenten ein Geschäftsprozess anvertraut wird.
Aktualisiert · 4 min
Wozu dieser Leitfaden beiträgt
- Beschränken Sie den Agenten auf das, was er benötigt
- Testen Sie kostspielige Fehler vor der Produktion
- Behalten Sie nützliche Spuren, ohne zu viel zu sammeln
- Sorgen Sie für eine wirksame menschliche Rechenschaftspflicht
Kurzcheck
- Kann der Agent eine irreversible Aktion auslösen?
- Sind die übermittelten Daten autorisiert?
- Erfordert ein Schwellenwert eine menschliche Zustimmung?
- Verfügen Tools über Mindestberechtigungen?
- Kann das System schnell stoppen und zurückrollen?
Schritt-für-Schritt-Anleitung
- 1
Beschreiben Sie das tatsächliche System
Dokumentzweck, Benutzer, Eingaben, Modelle, Werkzeuge, Ausgaben, Abhängigkeiten und betroffene Personen.
Lieferumfang: versionierte Systemkarte.
- 2
Aktionen und Daten klassifizieren
Getrenntes Lesen, Empfehlen, Entwerfen und Ausführen. Identifizieren Sie verbotene, sensible, persönliche und gespeicherte Daten.
Liefergegenstand: Daten × Aktionsmatrix.
- 3
Berechtigungen reduzieren
Verwenden Sie dedizierte Konten, Tool-Zulassungslisten, isolierte Umgebungen und Genehmigungen, bevor Sie Maßnahmen mit großer Auswirkung ergreifen.
Liefergegenstand: Autorisierungsrichtlinie.
- 4
Auswertungen erstellen
Testen Sie normale Fälle, Mehrdeutigkeit, Injektion, fehlende Daten, Anfragen außerhalb des Gültigkeitsbereichs und irreversible Fehler. Legen Sie vor dem Piloten Schwellenwerte fest.
Lieferinhalt: Testsatz und Ergebnisse.
- 5
Produktion überwachen
Protokollieren Sie die Systemversion, den erforderlichen Kontext, Toolaufrufe, Genehmigungen und Ergebnisse und minimieren Sie gleichzeitig die Aufbewahrung von Daten.
Lieferinhalt: Überwachungs-Dashboard und Alarme.
- 6
Bereiten Sie sich auf einen Misserfolg vor
Definieren Sie Kriterien für Abschaltung, manuelle Übernahme, Benachrichtigung, Störungsanalyse und Wiederinbetriebnahme.
Liefergegenstand: AI Incident Runbook.
Vom Vorschlag zur Aktion: Wo werden Rechte geprüft?
Ein Agent kann eine Anfrage vorbereiten, ohne sie ausführen zu dürfen. Der ausführende Dienst muss Identität, Ressource und tatsächliche Parameter prüfen; die Zusage des Modells beweist keine Freigabe.
Fiktive Übung: Eine interne Regel verlangt die Freigabe von Kundenantworten. Die Fälle erläutern diese Regel; sie prüfen oder zertifizieren Ihr System nicht.
- Empfangene Daten
Ein Dokument liefert Kontext und erteilt keine neuen Rechte.
- Vorgeschlagene Aktion
Der Agent bereitet Werkzeug, Ziel und Parameter zur Prüfung vor.
- Unabhängige Prüfung
Der ausführende Dienst prüft Rechte und die Freigabe für genau diese Aktion.
- Beobachtetes Ergebnis
Ein Eintrag verbindet die eindeutige Anfrage mit ihrem tatsächlichen Ergebnis, auch einem Fehler.
Vier Fälle zum Durchspielen
Der Empfänger wurde geändert
Die freigegebene Vorschau zeigte eine interne Adresse; der endgültige Aufruf eine externe.
Erwartete Entscheidung
Versand anhalten und das neue Ziel prüfen lassen.
Benötigter Nachweis
Empfänger, Inhalt und Anhänge der Vorschau mit dem Aufruf vergleichen.
Falscher Kundenbereich
Das Konto darf Vorgang A lesen; der Agent fordert eine Datei aus B an.
Erwartete Entscheidung
Zugriff auf B verweigern, auch wenn das Modell ihn für nötig hält.
Benötigter Nachweis
Rechte mit der Benutzeridentität an der konkreten Ressource prüfen.
Die Freigabe ist abgelaufen
Die Aktion entspricht der Vorschau, doch die Freigabe ist vor der Ausführung abgelaufen.
Erwartete Entscheidung
Neue Freigabe einholen und aktuelle Rechte erneut prüfen.
Benötigter Nachweis
Ablaufzeit, freigebende Person und genehmigte Parameter festhalten.
Zeitüberschreitung
Der Versand antwortet nicht; sein Erfolg ist unbekannt.
Erwartete Entscheidung
Vor einem erneuten Versuch den Vorgangsstatus prüfen.
Benötigter Nachweis
Idempotenzschlüssel an denselben Inhalt binden und den Dienstbeleg abgleichen.
Referenzen : OWASP · LLM06:2025 Excessive Agency · OWASP · AI Agent Security Cheat Sheet
Fiktives Arbeitsbeispiel
Beispielhafte Situation
Ein Agent kann Kundenanfragen lesen und eine Antwort verfassen, aber ohne Genehmigung keine Nachricht senden oder ein Konto ändern. Das Testen umfasst ein Quelldokument, das versucht, seine Anweisungen umzuleiten.
Entscheidung und erwartete Beweise
Das Register definiert erlaubte Werkzeuge, sichtbare Daten, Eskalationsschwellen, notwendige Protokolle und den Zeitpunkt, an dem ein Mensch übernimmt.
Managementindikatoren
| Indikator | Was es misst | Erste Aktion |
|---|---|---|
| Nützliche Erfolgsquote | Aufgaben werden anhand eines Geschäftskriteriums korrigiert, nicht nur anhand plausibler Antworten | Überprüfen Sie Fehler nach Fallfamilie |
| Menschliche Eskalation | Fälle werden einer Person korrekt übergeben | Schwellenwerte anpassen, wenn der Agent zu selbstsicher ist |
| Abgebrochene Aktionen | Aktionen wurden vor der Auswirkung blockiert oder wiederhergestellt | Finden Sie übermäßige Berechtigungen und ungetestete Szenarien |
| Drift | Leistungsunterschied nach Version, Daten oder Population | Bei jeder Änderung mit einem stabilen Satz vergleichen |
Häufige Fallstricke
- Nur die Schreibqualität messen
- Dem Agenten die vollen Rechte eines Endbenutzers geben
- Standardmäßig wird jede Konversation beibehalten
- Modell oder Eingabeaufforderung ändern, ohne die Auswertungen erneut auszuführen
Häufig gestellte Fragen
Wie unterscheidet sich ein KI-Agent von einem Chatbot?
Ein Agent plant oder verkettet Aktionen und ruft ggf. Tools auf. Diese Macht erfordert strengere Berechtigungen, Genehmigungen, Rückverfolgungen und Abschaltkontrollen.
Ist immer eine menschliche Zustimmung erforderlich?
Am wichtigsten ist es, wenn eine Aktion irreversibel, sensibel, reguliert, finanziell oder im Nachhinein schwer zu erkennen ist. Das Niveau sollte dem Risiko folgen.
Was soll protokolliert werden?
Systemversion, unbedingt notwendiger Kontext, Toolaufrufe, Freigaben, Ergebnis und Fehler, mit begründeter Aufbewahrungsfrist.
Referenzen: Daten, Nutzung und Grenzen
Dokumentation geprüft am .
Ausführliche Hinweise stehen in dieser Ausgabe auf Englisch zur Verfügung.
| Quelle und Zweck | Geprüfte Daten oder Richtwerte | Praktische Nutzung | Zu beachtende Grenze |
|---|---|---|---|
| MITRE ATLAS Examine documented tactics, techniques and cases involving AI systems. |
The official repository publishes ATLAS tactics, techniques and case-study data. They support analysis of the actual deployed system. | Select scenarios matching your application’s data, interfaces and tools. Test permissions and consequences, not only model responses. | A technique catalogue is neither an exhaustive coverage guarantee nor a test result for your system. |
| NIST · AI Risk Management Framework Organise management of AI-related risks. |
The AI RMF Core is organised around Govern, Map, Measure and Manage. It is a voluntary risk-management framework. | Define intended use, affected people and error consequences. Connect each risk to an evaluation, owner and stop or recovery mechanism. | The framework certifies neither a model nor an application. Using it does not remove the need to examine applicable requirements. |
| OWASP · LLM Top 10 Prepare tests for language-model application risks. |
The 2025 edition includes Prompt Injection, Sensitive Information Disclosure and Excessive Agency. | Turn a risk into an observable scenario: hostile document, restricted data or out-of-scope tool. Record expected behaviour and evidence of refusal. | A risk list is not a complete assessment. Input filtering alone does not establish authorisation for every action. |
RAG: Zugriffsrechte, Zitate und Caches
Ausführliche Hinweise stehen in dieser Ausgabe auf Englisch zur Verfügung.
Describe the authority of every agent tool
A tool’s authority depends on identity, objects and permitted operations. A document source, including an internal one, cannot expand that scope. The agent should accomplish the legitimate task with limited rights.
- Build an identity, object and operation matrix.
- Verify connector denials and absence of effects.
- Replay positive controls after each restriction.
Explore the RAG access matrix and replay cases →
References consulted on · OWASP · LLM06:2025 Excessive Agency OWASP · API1:2023 Broken Object Level Authorization NIST AI 100-2 E2025 · Adversarial Machine Learning
OAuth/OIDC: Ziel und Zugriff
Ausführliche Hinweise stehen in dieser Ausgabe auf Englisch zur Verfügung.
An AI agent retains each tool’s authorisation boundaries
A model instruction does not create a grant. For every tool, identify the calling client, resource server, audience and object policy.
- Restrict permissions to the operation and recipient needed for the use case.
- Do not forward one tool’s token to another API merely for convenience.
- Test that an agent cannot read another tenant’s objects despite having a read scope.
See token recipients and the ten OAuth/OIDC cases →
Sources reviewed on · IETF · RFC 9700 · OAuth 2.0 Security BCP · IETF · RFC 9068 · JWT access token profile · OpenID Foundation · OpenID Connect Core 1.0 · IETF · RFC 8725 · JWT Best Current Practices · IETF · RFC 6749 · OAuth 2.0 framework
SSRF: URLs und Verbindungen
Ausführliche Hinweise stehen in dieser Ausgabe auf Englisch zur Verfügung.
An AI agent tool keeps bounded network access
Text produced by a model, retrieved document or search result must not expand an allowed tool destination. Defining the connector by operation and service makes the agent’s actual network reach controllable.
- Reconstruct requests from business identifiers when the service is known.
- Enforce resolution, connection, proxy and each redirect at the egress component.
- Keep a traceable decision and response limits, including after retry or fallback.
Read the 12 cases and connection controls →
Sources reviewed on · OWASP · SSRF Prevention Cheat Sheet · WHATWG · URL Living Standard · AWS EC2 · Instance metadata options · IETF · RFC 3849
Offizielle Referenzen
Die Referenzen unterstützen die Methode. Passen Sie die Prüfungen an Ihren Kontext an; sie stellen keine Zertifizierung dar. Originalreferenztitel und Quelldokumente können in einer anderen Sprache verfasst sein.
Referenzen geprüft am .
- NIST — AI Risk Management Framework
- NIST — Generative AI Profile
- OWASP · LLM06:2025 Excessive Agency
- OWASP · AI Agent Security Cheat Sheet
- MITRE ATLAS
- OWASP · LLM Top 10
- OWASP · API1:2023 Broken Object Level Authorization
- NIST AI 100-2 E2025 · Adversarial Machine Learning
- IETF · RFC 9700 · OAuth 2.0 Security BCP
- IETF · RFC 9068 · JWT access token profile
- OpenID Foundation · OpenID Connect Core 1.0
- IETF · RFC 8725 · JWT Best Current Practices
- IETF · RFC 6749 · OAuth 2.0 framework
- OWASP · SSRF Prevention Cheat Sheet
- WHATWG · URL Living Standard
- AWS EC2 · Instance metadata options
- IETF · RFC 3849
