Ressourcen · 03

KI-Agenten-Governance: ein Leitfaden zur Produktionsbereitschaft

Frame-Berechtigungen, Daten, Tests, Überwachung und Herunterfahren, bevor einem Agenten ein Geschäftsprozess anvertraut wird.

Aktualisiert · 4 min

Private KI-Recheninfrastruktur in einem leeren Labor KI-generierte redaktionelle Illustration

Wozu dieser Leitfaden beiträgt

  • Beschränken Sie den Agenten auf das, was er benötigt
  • Testen Sie kostspielige Fehler vor der Produktion
  • Behalten Sie nützliche Spuren, ohne zu viel zu sammeln
  • Sorgen Sie für eine wirksame menschliche Rechenschaftspflicht

Kurzcheck

  • Kann der Agent eine irreversible Aktion auslösen?
  • Sind die übermittelten Daten autorisiert?
  • Erfordert ein Schwellenwert eine menschliche Zustimmung?
  • Verfügen Tools über Mindestberechtigungen?
  • Kann das System schnell stoppen und zurückrollen?

Schritt-für-Schritt-Anleitung

  1. 1

    Beschreiben Sie das tatsächliche System

    Dokumentzweck, Benutzer, Eingaben, Modelle, Werkzeuge, Ausgaben, Abhängigkeiten und betroffene Personen.

    Lieferumfang: versionierte Systemkarte.

  2. 2

    Aktionen und Daten klassifizieren

    Getrenntes Lesen, Empfehlen, Entwerfen und Ausführen. Identifizieren Sie verbotene, sensible, persönliche und gespeicherte Daten.

    Liefergegenstand: Daten × Aktionsmatrix.

  3. 3

    Berechtigungen reduzieren

    Verwenden Sie dedizierte Konten, Tool-Zulassungslisten, isolierte Umgebungen und Genehmigungen, bevor Sie Maßnahmen mit großer Auswirkung ergreifen.

    Liefergegenstand: Autorisierungsrichtlinie.

  4. 4

    Auswertungen erstellen

    Testen Sie normale Fälle, Mehrdeutigkeit, Injektion, fehlende Daten, Anfragen außerhalb des Gültigkeitsbereichs und irreversible Fehler. Legen Sie vor dem Piloten Schwellenwerte fest.

    Lieferinhalt: Testsatz und Ergebnisse.

  5. 5

    Produktion überwachen

    Protokollieren Sie die Systemversion, den erforderlichen Kontext, Toolaufrufe, Genehmigungen und Ergebnisse und minimieren Sie gleichzeitig die Aufbewahrung von Daten.

    Lieferinhalt: Überwachungs-Dashboard und Alarme.

  6. 6

    Bereiten Sie sich auf einen Misserfolg vor

    Definieren Sie Kriterien für Abschaltung, manuelle Übernahme, Benachrichtigung, Störungsanalyse und Wiederinbetriebnahme.

    Liefergegenstand: AI Incident Runbook.

Vom Vorschlag zur Aktion: Wo werden Rechte geprüft?

Ein Agent kann eine Anfrage vorbereiten, ohne sie ausführen zu dürfen. Der ausführende Dienst muss Identität, Ressource und tatsächliche Parameter prüfen; die Zusage des Modells beweist keine Freigabe.

Fiktive Übung: Eine interne Regel verlangt die Freigabe von Kundenantworten. Die Fälle erläutern diese Regel; sie prüfen oder zertifizieren Ihr System nicht.

Der Weg einer Aktion
  1. Empfangene Daten

    Ein Dokument liefert Kontext und erteilt keine neuen Rechte.

  2. Vorgeschlagene Aktion

    Der Agent bereitet Werkzeug, Ziel und Parameter zur Prüfung vor.

  3. Unabhängige Prüfung

    Der ausführende Dienst prüft Rechte und die Freigabe für genau diese Aktion.

  4. Beobachtetes Ergebnis

    Ein Eintrag verbindet die eindeutige Anfrage mit ihrem tatsächlichen Ergebnis, auch einem Fehler.

Vier Fälle zum Durchspielen

Der Empfänger wurde geändert

Die freigegebene Vorschau zeigte eine interne Adresse; der endgültige Aufruf eine externe.

Erwartete Entscheidung

Versand anhalten und das neue Ziel prüfen lassen.

Benötigter Nachweis

Empfänger, Inhalt und Anhänge der Vorschau mit dem Aufruf vergleichen.

Falscher Kundenbereich

Das Konto darf Vorgang A lesen; der Agent fordert eine Datei aus B an.

Erwartete Entscheidung

Zugriff auf B verweigern, auch wenn das Modell ihn für nötig hält.

Benötigter Nachweis

Rechte mit der Benutzeridentität an der konkreten Ressource prüfen.

Die Freigabe ist abgelaufen

Die Aktion entspricht der Vorschau, doch die Freigabe ist vor der Ausführung abgelaufen.

Erwartete Entscheidung

Neue Freigabe einholen und aktuelle Rechte erneut prüfen.

Benötigter Nachweis

Ablaufzeit, freigebende Person und genehmigte Parameter festhalten.

Zeitüberschreitung

Der Versand antwortet nicht; sein Erfolg ist unbekannt.

Erwartete Entscheidung

Vor einem erneuten Versuch den Vorgangsstatus prüfen.

Benötigter Nachweis

Idempotenzschlüssel an denselben Inhalt binden und den Dienstbeleg abgleichen.

Referenzen : OWASP · LLM06:2025 Excessive Agency · OWASP · AI Agent Security Cheat Sheet

Fiktives Arbeitsbeispiel

Beispielhafte Situation

Ein Agent kann Kundenanfragen lesen und eine Antwort verfassen, aber ohne Genehmigung keine Nachricht senden oder ein Konto ändern. Das Testen umfasst ein Quelldokument, das versucht, seine Anweisungen umzuleiten.

Entscheidung und erwartete Beweise

Das Register definiert erlaubte Werkzeuge, sichtbare Daten, Eskalationsschwellen, notwendige Protokolle und den Zeitpunkt, an dem ein Mensch übernimmt.

Managementindikatoren

IndikatorWas es misstErste Aktion
Nützliche ErfolgsquoteAufgaben werden anhand eines Geschäftskriteriums korrigiert, nicht nur anhand plausibler AntwortenÜberprüfen Sie Fehler nach Fallfamilie
Menschliche EskalationFälle werden einer Person korrekt übergebenSchwellenwerte anpassen, wenn der Agent zu selbstsicher ist
Abgebrochene AktionenAktionen wurden vor der Auswirkung blockiert oder wiederhergestelltFinden Sie übermäßige Berechtigungen und ungetestete Szenarien
DriftLeistungsunterschied nach Version, Daten oder PopulationBei jeder Änderung mit einem stabilen Satz vergleichen

Häufige Fallstricke

  • Nur die Schreibqualität messen
  • Dem Agenten die vollen Rechte eines Endbenutzers geben
  • Standardmäßig wird jede Konversation beibehalten
  • Modell oder Eingabeaufforderung ändern, ohne die Auswertungen erneut auszuführen

Häufig gestellte Fragen

Wie unterscheidet sich ein KI-Agent von einem Chatbot?

Ein Agent plant oder verkettet Aktionen und ruft ggf. Tools auf. Diese Macht erfordert strengere Berechtigungen, Genehmigungen, Rückverfolgungen und Abschaltkontrollen.

Ist immer eine menschliche Zustimmung erforderlich?

Am wichtigsten ist es, wenn eine Aktion irreversibel, sensibel, reguliert, finanziell oder im Nachhinein schwer zu erkennen ist. Das Niveau sollte dem Risiko folgen.

Was soll protokolliert werden?

Systemversion, unbedingt notwendiger Kontext, Toolaufrufe, Freigaben, Ergebnis und Fehler, mit begründeter Aufbewahrungsfrist.

Referenzen: Daten, Nutzung und Grenzen

Dokumentation geprüft am .

Ausführliche Hinweise stehen in dieser Ausgabe auf Englisch zur Verfügung.

Referenzen: Daten, Nutzung und Grenzen
Quelle und ZweckGeprüfte Daten oder RichtwertePraktische NutzungZu beachtende Grenze
MITRE ATLAS

Examine documented tactics, techniques and cases involving AI systems.

The official repository publishes ATLAS tactics, techniques and case-study data. They support analysis of the actual deployed system. Select scenarios matching your application’s data, interfaces and tools. Test permissions and consequences, not only model responses.

Methode vertiefen →

A technique catalogue is neither an exhaustive coverage guarantee nor a test result for your system.
NIST · AI Risk Management Framework

Organise management of AI-related risks.

The AI RMF Core is organised around Govern, Map, Measure and Manage. It is a voluntary risk-management framework. Define intended use, affected people and error consequences. Connect each risk to an evaluation, owner and stop or recovery mechanism.

Methode vertiefen →

The framework certifies neither a model nor an application. Using it does not remove the need to examine applicable requirements.
OWASP · LLM Top 10

Prepare tests for language-model application risks.

The 2025 edition includes Prompt Injection, Sensitive Information Disclosure and Excessive Agency. Turn a risk into an observable scenario: hostile document, restricted data or out-of-scope tool. Record expected behaviour and evidence of refusal.

Methode vertiefen →

A risk list is not a complete assessment. Input filtering alone does not establish authorisation for every action.

RAG: Zugriffsrechte, Zitate und Caches

Ausführliche Hinweise stehen in dieser Ausgabe auf Englisch zur Verfügung.

Describe the authority of every agent tool

A tool’s authority depends on identity, objects and permitted operations. A document source, including an internal one, cannot expand that scope. The agent should accomplish the legitimate task with limited rights.

  • Build an identity, object and operation matrix.
  • Verify connector denials and absence of effects.
  • Replay positive controls after each restriction.

Explore the RAG access matrix and replay cases →

References consulted on · OWASP · LLM06:2025 Excessive Agency OWASP · API1:2023 Broken Object Level Authorization NIST AI 100-2 E2025 · Adversarial Machine Learning

OAuth/OIDC: Ziel und Zugriff

Ausführliche Hinweise stehen in dieser Ausgabe auf Englisch zur Verfügung.

An AI agent retains each tool’s authorisation boundaries

A model instruction does not create a grant. For every tool, identify the calling client, resource server, audience and object policy.

  • Restrict permissions to the operation and recipient needed for the use case.
  • Do not forward one tool’s token to another API merely for convenience.
  • Test that an agent cannot read another tenant’s objects despite having a read scope.

See token recipients and the ten OAuth/OIDC cases →

Sources reviewed on · IETF · RFC 9700 · OAuth 2.0 Security BCP · IETF · RFC 9068 · JWT access token profile · OpenID Foundation · OpenID Connect Core 1.0 · IETF · RFC 8725 · JWT Best Current Practices · IETF · RFC 6749 · OAuth 2.0 framework

SSRF: URLs und Verbindungen

Ausführliche Hinweise stehen in dieser Ausgabe auf Englisch zur Verfügung.

An AI agent tool keeps bounded network access

Text produced by a model, retrieved document or search result must not expand an allowed tool destination. Defining the connector by operation and service makes the agent’s actual network reach controllable.

  • Reconstruct requests from business identifiers when the service is known.
  • Enforce resolution, connection, proxy and each redirect at the egress component.
  • Keep a traceable decision and response limits, including after retry or fallback.

Read the 12 cases and connection controls →

Sources reviewed on · OWASP · SSRF Prevention Cheat Sheet · WHATWG · URL Living Standard · AWS EC2 · Instance metadata options · IETF · RFC 3849

Offizielle Referenzen

Die Referenzen unterstützen die Methode. Passen Sie die Prüfungen an Ihren Kontext an; sie stellen keine Zertifizierung dar. Originalreferenztitel und Quelldokumente können in einer anderen Sprache verfasst sein.

Referenzen geprüft am .