الموارد · 03

حوكمة وكلاء الذكاء الاصطناعي: دليل جاهزية الإنتاج

تحديد صلاحيات الإطار، والبيانات، والاختبارات، والإشراف، وإيقاف التشغيل قبل الوثوق بوكيل في عملية تجارية.

مُحدَّث · 4 min

بنية حوسبة ذكاء اصطناعي خاصة في مختبر خالٍ رسم توضيحي تحريري مولّد بالذكاء الاصطناعي

ما يُساعد هذا الدليل على تحقيقه

  • تقييد الوكيل بما يحتاجه.
  • اختبار حالات الفشل المكلفة قبل الإنتاج.
  • الاحتفاظ بالآثار المفيدة دون الإفراط في جمعها.
  • ضمان المساءلة البشرية الفعالة.

فحص سريع

  • هل يمكن للوكيل التسبب في إجراء لا رجعة فيه؟
  • هل البيانات المُقدمة مُصرّح بها؟
  • هل يتطلب تجاوز حد معين موافقة بشرية؟
  • هل للأدوات حد أدنى من الصلاحيات؟
  • هل يمكن إيقاف النظام والتراجع عنه بسرعة؟

طريقة خطوة بخطوة

  1. 1

    وصف النظام الحالي

    توثيق الغرض، والمستخدمين، والمدخلات، والنماذج، والأدوات، والمخرجات، والتبعيات، والأشخاص المتأثرين.

    المُخرَج: بطاقة نظام مُرَقَّمة.

  2. 2

    تصنيف الإجراءات والبيانات

    فصل القراءة، والتوصية، والصياغة، والتنفيذ. تحديد البيانات المحظورة، والحساسة، والشخصية، والمحفوظة.

    المُخرَج: مصفوفة البيانات × الإجراءات.

  3. 3

    تقليل الصلاحيات

    استخدام حسابات مُخصصة، وقوائم أدوات مُصرَّح بها، وبيئات معزولة، والموافقة قبل أي إجراء ذي تأثير كبير.

    المُخرَج: سياسة التفويض.

  4. 4

    بناء التقييمات

    اختبار الحالات العادية، والغموض، والحقن، والبيانات المفقودة، والطلبات الخارجة عن النطاق، والأخطاء غير القابلة للإصلاح. تحديد العتبات قبل المرحلة التجريبية.

    المُخرَج: مجموعة الاختبار والنتائج.

  5. 5

    مراقبة الإنتاج

    تسجيل إصدار النظام، والسياق اللازم، واستدعاءات الأدوات، والموافقات، والنتائج مع تقليل البيانات المحفوظة.

    المُخرَج: لوحة تحكم المراقبة والتنبيهات.

  6. 6

    الاستعداد للأعطال

    تحديد معايير الإيقاف، والاستحواذ اليدوي، والإخطار، وتحليل الحوادث، والعودة إلى الخدمة.

    المُخرَج: دليل تشغيل حوادث الذكاء الاصطناعي. الاستعداد للأعطال

من الاقتراح إلى التنفيذ: أين تُفحص الصلاحيات؟

قد يُعدّ الوكيل طلباً من دون صلاحية لتنفيذه. يجب أن تتحقق خدمة التنفيذ من الهوية والمورد والمعلمات الفعلية؛ ادعاء النموذج وجود موافقة لا يثبتها.

تمرين افتراضي: تشترط سياسة داخلية الموافقة على إرسال رد إلى عميل. توضح الحالات هذه السياسة، ولا تفحص نظامك أو تمنحه شهادة.

مسار الإجراء
  1. البيانات الواردة

    توفر الوثيقة سياقاً ولا تمنح صلاحيات جديدة.

  2. الإجراء المقترح

    يُعدّ الوكيل الأداة والهدف والمعلمات للمراجعة.

  3. تحقق مستقل

    تفحص خدمة التنفيذ الصلاحيات والموافقة المرتبطة بهذا الإجراء تحديداً.

  4. النتيجة المرصودة

    يربط السجل الطلب الفريد بنتيجته الفعلية، بما فيها الفشل.

أربع حالات للتجربة

تغيّر المستلم

تضمنت المعاينة المعتمدة عنواناً داخلياً، لكن الاستدعاء النهائي يستهدف عنواناً خارجياً.

القرار المتوقع

أوقف الإرسال وراجع الوجهة الجديدة.

الدليل المطلوب

قارن المستلم والمحتوى والمرفقات بين المعاينة والاستدعاء النهائي.

مساحة العميل الخطأ

يمكن للحساب قراءة الملف A، لكن الوكيل يطلب وثيقة من الملف B.

القرار المتوقع

ارفض الوصول إلى B حتى لو ادعى النموذج حاجته إليه.

الدليل المطلوب

تحقق من صلاحية المستخدم على المورد المحدد بهويته الفعلية.

انتهت صلاحية الموافقة

يطابق الإجراء المعاينة، لكن الموافقة انتهت قبل التنفيذ.

القرار المتوقع

احصل على موافقة جديدة وأعد فحص الصلاحيات الحالية.

الدليل المطلوب

احتفظ بوقت الانتهاء وهوية الموافق والمعلمات المعتمدة.

انتهت مهلة الطلب

لم يستجب طلب الإرسال، ولا يُعرف إن كان قد اكتمل.

القرار المتوقع

تحقق من حالة العملية قبل إعادة المحاولة.

الدليل المطلوب

اربط مفتاح منع التكرار بالمحتوى نفسه وطابق إيصال الخدمة.

المراجع : OWASP · LLM06:2025 Excessive Agency · OWASP · AI Agent Security Cheat Sheet

مثال عملي افتراضي

حالة توضيحية

يجوز للوكيل قراءة طلبات العملاء وصياغة رد، لكن لا يجوز له إرسال رسالة أو تغيير حساب دون موافقة. يتضمن الاختبار مستندًا أصليًا يحاول إعادة توجيه تعليماته.

القرار والأدلة المتوقعة

يحدد السجل الأدوات المسموح بها، والبيانات المرئية، وعتبات التصعيد، والسجلات الضرورية، والنقطة التي يتدخل فيها العنصر البشري.

مؤشرات الإدارة

المؤشرما يقيسهالإجراء الأول
معدل نجاح مفيدالمهام صحيحة وفقًا لمعيار العمل، وليس مجرد إجابات معقولةمراجعة حالات الفشل حسب فئة الحالة
التصعيد البشريالحالات المُحالة إلى الشخص المناسبضبط العتبات عندما يكون الوكيل واثقًا جدًا من نفسه
الإجراءات الملغاةالإجراءات المحظورة أو المستعادة قبل التأثيراكتشاف الصلاحيات الزائدة والسيناريوهات غير المختبرة
الانحرافاختلاف الأداء حسب الإصدار أو البيانات أو المجموعةالمقارنة مع مجموعة ثابتة عند كل تغيير

الأخطاء الشائعة

  • قياس جودة الكتابة فقط
  • منح الوكيل جميع صلاحيات المستخدم النهائي
  • الاحتفاظ بكل محادثة افتراضيًا
  • تغيير النموذج أو الموجه دون إعادة تشغيل التقييمات

الأسئلة المتكررة

ما الفرق بين وكيل الذكاء الاصطناعي وبرنامج الدردشة الآلي؟

يقوم الوكيل بتخطيط الإجراءات أو ربطها ببعضها، وقد يستدعي أدوات. تتطلب هذه الصلاحية أذونات وموافقات وتتبعات وضوابط إيقاف تشغيل أكثر صرامة.

هل الموافقة البشرية مطلوبة دائمًا؟

تكتسب الموافقة البشرية أهمية خاصة عندما يكون الإجراء غير قابل للتراجع، أو حساسًا، أو خاضعًا للتنظيم، أو ماليًا، أو يصعب اكتشافه لاحقًا. يجب أن يتناسب مستوى الموافقة مع مستوى المخاطر.

ما الذي يجب تسجيله؟

إصدار النظام، والسياق الضروري للغاية، واستدعاءات الأدوات، والموافقات، والنتائج، والأخطاء، مع تحديد فترة احتفاظ مبررة.

المراجع: البيانات والاستخدامات والحدود

تاريخ مراجعة الوثائق .

الملاحظات المرجعية المفصّلة متاحة باللغة الإنجليزية في هذه النسخة.

المراجع: البيانات والاستخدامات والحدود
المصدر والغرضبيانات أو معيار متحقق منهكيفية الاستخدامحدود يجب مراعاتها
MITRE ATLAS

Examine documented tactics, techniques and cases involving AI systems.

The official repository publishes ATLAS tactics, techniques and case-study data. They support analysis of the actual deployed system. Select scenarios matching your application’s data, interfaces and tools. Test permissions and consequences, not only model responses.

التوسع في المنهج →

A technique catalogue is neither an exhaustive coverage guarantee nor a test result for your system.
NIST · AI Risk Management Framework

Organise management of AI-related risks.

The AI RMF Core is organised around Govern, Map, Measure and Manage. It is a voluntary risk-management framework. Define intended use, affected people and error consequences. Connect each risk to an evaluation, owner and stop or recovery mechanism.

التوسع في المنهج →

The framework certifies neither a model nor an application. Using it does not remove the need to examine applicable requirements.
OWASP · LLM Top 10

Prepare tests for language-model application risks.

The 2025 edition includes Prompt Injection, Sensitive Information Disclosure and Excessive Agency. Turn a risk into an observable scenario: hostile document, restricted data or out-of-scope tool. Record expected behaviour and evidence of refusal.

التوسع في المنهج →

A risk list is not a complete assessment. Input filtering alone does not establish authorisation for every action.

RAG: حقوق الوصول والاستشهادات والذاكرة المؤقتة

الملاحظات المرجعية المفصّلة متاحة باللغة الإنجليزية في هذه النسخة.

Describe the authority of every agent tool

A tool’s authority depends on identity, objects and permitted operations. A document source, including an internal one, cannot expand that scope. The agent should accomplish the legitimate task with limited rights.

  • Build an identity, object and operation matrix.
  • Verify connector denials and absence of effects.
  • Replay positive controls after each restriction.

Explore the RAG access matrix and replay cases →

References consulted on · OWASP · LLM06:2025 Excessive Agency OWASP · API1:2023 Broken Object Level Authorization NIST AI 100-2 E2025 · Adversarial Machine Learning

OAuth/OIDC: الجمهور والصلاحيات

الملاحظات المرجعية المفصّلة متاحة باللغة الإنجليزية في هذه النسخة.

An AI agent retains each tool’s authorisation boundaries

A model instruction does not create a grant. For every tool, identify the calling client, resource server, audience and object policy.

  • Restrict permissions to the operation and recipient needed for the use case.
  • Do not forward one tool’s token to another API merely for convenience.
  • Test that an agent cannot read another tenant’s objects despite having a read scope.

See token recipients and the ten OAuth/OIDC cases →

Sources reviewed on · IETF · RFC 9700 · OAuth 2.0 Security BCP · IETF · RFC 9068 · JWT access token profile · OpenID Foundation · OpenID Connect Core 1.0 · IETF · RFC 8725 · JWT Best Current Practices · IETF · RFC 6749 · OAuth 2.0 framework

SSRF: الروابط والاتصالات

الملاحظات المرجعية المفصّلة متاحة باللغة الإنجليزية في هذه النسخة.

An AI agent tool keeps bounded network access

Text produced by a model, retrieved document or search result must not expand an allowed tool destination. Defining the connector by operation and service makes the agent’s actual network reach controllable.

  • Reconstruct requests from business identifiers when the service is known.
  • Enforce resolution, connection, proxy and each redirect at the egress component.
  • Keep a traceable decision and response limits, including after retry or fallback.

Read the 12 cases and connection controls →

Sources reviewed on · OWASP · SSRF Prevention Cheat Sheet · WHATWG · URL Living Standard · AWS EC2 · Instance metadata options · IETF · RFC 3849

المراجع الرسمية

تدعم المراجع الطريقة. قم بتكييف عمليات التحقق مع سياقك؛ فهي ليست شهادة. قد تكون عناوين المراجع الأصلية والوثائق المصدرية بلغة أخرى.

تاريخ مراجعة المراجع .