リソース · 03

AIエージェントガバナンス:本番環境準備ガイド

エージェントがビジネスプロセスを任される前に、権限、データ、テスト、監視、およびシャットダウンに関する枠組みを明確にする。

更新済み · 6 min

無人ラボのプライベートAI計算基盤 AIで生成した編集用イラスト

このガイドが達成するのに役立つこと

  • エージェントが必要とする範囲に限定する。
  • 本番環境導入前に、コストのかかる障害をテストする。
  • 過剰な収集を行わずに、有用なトレースを保持する。
  • 効果的な人的責任体制を維持する。

クイックチェック

  • エージェントは不可逆的なアクションをトリガーできるか?
  • 送信されたデータは承認されているか?
  • しきい値には人的承認が必要か?
  • ツールには最小限の権限しか付与されていないか?
  • システムは迅速に停止およびロールバックできるか?

手順

  1. 1

    実際のシステムについて記述する

    目的、ユーザー、入力、モデル、ツール、出力、依存関係、および影響を受ける人々を文書化する。

    成果物:バージョン管理されたシステムカード。

  2. 2

    アクションとデータを分類する

    閲覧、推奨、作成、実行を分離する。 禁止データ、機密データ、個人データ、および保持データを特定する。

    成果物:データ×アクションマトリックス。

  3. 3

    権限を削減する

    影響の大きいアクションの前に、専用アカウント、ツール許可リスト、隔離された環境、および承認を使用する。

    成果物:承認ポリシー。

  4. 4

    評価を構築する

    通常ケース、曖昧性、インジェクション、欠落データ、範囲外の要求、および不可逆的なエラーをテストする。 パイロットテストの前にしきい値を設定する。

    成果物:テストセットと結果。

  5. 5

    運用状況の監視

    システムバージョン、必要なコンテキスト、ツール呼び出し、承認、結果をログに記録し、保持データを最小限に抑える。

    成果物:監視ダッシュボードとアラート。

  6. 6

    障害発生時の対応準備

    シャットダウン、手動引き継ぎ、通知、インシデント分析、サービス復旧の基準を定義する。

    成果物:AIインシデントランブック。

提案から実行へ:権限はどこで確認するか

エージェントは実行権限がなくても要求を作れます。実行サービスは実際の利用者、リソース、引数を検証する必要があり、モデルの「承認済み」という発言は証拠になりません。

架空の演習です。ここでは社内規程が顧客への返信送信に承認を求めるものとします。実例はこの規程を説明するもので、実システムの検査や認証ではありません。

操作の流れ
  1. 受信データ

    文書は文脈を提供しますが、新たな権限を与えません。

  2. 提案された操作

    エージェントがツール、対象、引数をレビュー用に準備します。

  3. 独立した検証

    実行サービスが権限とその操作に結び付いた承認を確認します。

  4. 確認できた結果

    一意な要求と実際の結果を、失敗も含めて記録で結び付けます。

試すべき4つのケース

宛先が変わった

承認されたプレビューは社内アドレス、最終呼び出しは社外アドレスです。

期待する判断

送信を止め、新しい宛先の確認を受けます。

確認する証拠

プレビューと呼び出しの宛先、本文、添付を比較します。

別の顧客領域

アカウントは案件Aを閲覧できますが、エージェントは案件Bのファイルを要求します。

期待する判断

モデルが必要と主張してもBへのアクセスを拒否します。

確認する証拠

利用者の識別情報で、対象リソースの権限を確認します。

承認が期限切れ

操作はプレビューと一致していますが、実行前に承認が失効しました。

期待する判断

改めて承認を得て、現在の権限を再確認します。

確認する証拠

期限、承認者、承認済みの引数を記録します。

要求がタイムアウト

送信要求に応答がなく、完了したか不明です。

期待する判断

再試行の前に操作の状態を確認します。

確認する証拠

冪等性キーを同じ内容に結び付け、サービスの受付記録と照合します。

参考資料 : OWASP · LLM06:2025 Excessive Agency · OWASP · AI Agent Security Cheat Sheet

架空の事例

具体的な状況

エージェントは顧客からのリクエストを読み、返信を作成できますが、承認なしにメッセージを送信したり、アカウントを変更したりすることはできません。 テストには、指示をリダイレクトしようとするソースドキュメントが含まれます。

決定と期待される証拠

レジスターは、許可されたツール、表示可能なデータ、エスカレーションのしきい値、必要なログ、および人間が引き継ぐポイントを定義します。

管理指標

指標測定対象最初のアクション
有用な成功率タスクは、もっともらしい回答だけでなく、ビジネス基準に照らして正しく処理されるケースファミリー別の失敗のレビュー
ヒューマンエスカレーションケースが正しく担当者に引き継がれたケースエージェントが過信している場合のしきい値の調整
キャンセルされたアクション影響を受ける前にブロックまたは回復されたアクション過剰な権限と未テストのシナリオの検出
ドリフトバージョン、データ、または対象集団によるパフォーマンスの違い変更のたびに安定したセットと比較

よくある間違い

  • 書き込み品質のみを測定
  • エージェントにエンドユーザーの完全な権限を付与
  • デフォルトですべての会話を保持
  • 評価を再実行せずにモデルまたはプロンプトを変更

よくある質問

AIエージェントとチャットボットの違いは?

エージェントはアクションを計画または連鎖させ、ツールを呼び出すことができます。 この権限には、より厳格な許可、承認、追跡、およびシャットダウン制御が必要です。

人間の承認は常に必要ですか?

アクションが不可逆的、機密性が高い、規制対象、財務的、または事後的に検出が困難な場合、承認は最も重要になります。 承認レベルはリスクに応じて設定する必要があります。

何をログに記録すべきですか?

システムバージョン、厳密に必要なコンテキスト、ツール呼び出し、承認、結果、およびエラーを、正当な保持期間とともに記録します。

参照資料:データ・用途・限界

資料確認日 .

この言語版の詳しい参照メモは英語で提供しています。

参照資料:データ・用途・限界
出典と目的確認済みのデータ・指標利用方法留意する限界
MITRE ATLAS

Examine documented tactics, techniques and cases involving AI systems.

The official repository publishes ATLAS tactics, techniques and case-study data. They support analysis of the actual deployed system. Select scenarios matching your application’s data, interfaces and tools. Test permissions and consequences, not only model responses.

手法を詳しく読む →

A technique catalogue is neither an exhaustive coverage guarantee nor a test result for your system.
NIST · AI Risk Management Framework

Organise management of AI-related risks.

The AI RMF Core is organised around Govern, Map, Measure and Manage. It is a voluntary risk-management framework. Define intended use, affected people and error consequences. Connect each risk to an evaluation, owner and stop or recovery mechanism.

手法を詳しく読む →

The framework certifies neither a model nor an application. Using it does not remove the need to examine applicable requirements.
OWASP · LLM Top 10

Prepare tests for language-model application risks.

The 2025 edition includes Prompt Injection, Sensitive Information Disclosure and Excessive Agency. Turn a risk into an observable scenario: hostile document, restricted data or out-of-scope tool. Record expected behaviour and evidence of refusal.

手法を詳しく読む →

A risk list is not a complete assessment. Input filtering alone does not establish authorisation for every action.

RAG:アクセス権、引用、キャッシュ

この言語版の詳しい参照メモは英語で提供しています。

Describe the authority of every agent tool

A tool’s authority depends on identity, objects and permitted operations. A document source, including an internal one, cannot expand that scope. The agent should accomplish the legitimate task with limited rights.

  • Build an identity, object and operation matrix.
  • Verify connector denials and absence of effects.
  • Replay positive controls after each restriction.

Explore the RAG access matrix and replay cases →

References consulted on · OWASP · LLM06:2025 Excessive Agency OWASP · API1:2023 Broken Object Level Authorization NIST AI 100-2 E2025 · Adversarial Machine Learning

OAuth/OIDC:対象と権限

この言語版の詳しい参照メモは英語で提供しています。

An AI agent retains each tool’s authorisation boundaries

A model instruction does not create a grant. For every tool, identify the calling client, resource server, audience and object policy.

  • Restrict permissions to the operation and recipient needed for the use case.
  • Do not forward one tool’s token to another API merely for convenience.
  • Test that an agent cannot read another tenant’s objects despite having a read scope.

See token recipients and the ten OAuth/OIDC cases →

Sources reviewed on · IETF · RFC 9700 · OAuth 2.0 Security BCP · IETF · RFC 9068 · JWT access token profile · OpenID Foundation · OpenID Connect Core 1.0 · IETF · RFC 8725 · JWT Best Current Practices · IETF · RFC 6749 · OAuth 2.0 framework

SSRF:URLと接続

この言語版の詳しい参照メモは英語で提供しています。

An AI agent tool keeps bounded network access

Text produced by a model, retrieved document or search result must not expand an allowed tool destination. Defining the connector by operation and service makes the agent’s actual network reach controllable.

  • Reconstruct requests from business identifiers when the service is known.
  • Enforce resolution, connection, proxy and each redirect at the egress component.
  • Keep a traceable decision and response limits, including after retry or fallback.

Read the 12 cases and connection controls →

Sources reviewed on · OWASP · SSRF Prevention Cheat Sheet · WHATWG · URL Living Standard · AWS EC2 · Instance metadata options · IETF · RFC 3849

公式参照文献

参照文献はメソッドを裏付けるものです。 チェックは状況に合わせて調整してください。 これらは認証ではありません。 元の参照文献のタイトルやソース文書は別の言語で書かれている場合があります。

参照資料の確認日 .