الموارد · 44
حقن الموجه: اختبار حدود ثقة وكيل الذكاء الاصطناعي
التحقق من أن المستند أو نتيجة البحث أو الرسالة لا يمكنها تفويض إجراء نيابة عن المستخدم.
مُحدَّث · 3 min
ما يُساعد هذا الدليل على تحقيقه
- فصل البيانات عن التعليمات.
- حصر الإجراءات المتاحة للمهمة.
- اختبار التأثيرات الحقيقية الكامنة وراء الاستجابات.
- توثيق القيود والتراجعات.
فحص سريع
- ما المحتوى الخارجي الذي يقرأه البرنامج؟
- ما الإجراءات التي يمكنه تشغيلها دون موافقة؟
- هل يتم تطبيق التفويض خارج النموذج؟
- هل يمنع الرفض الشفهي استدعاء الأداة فعليًا؟
- كيف يمكن إيقاف سيناريو متباعد؟
طريقة خطوة بخطوة
- 1
تحديد نطاق الوصول
سرد الرسائل وصفحات الويب والمستندات ونتائج البحث والمرفقات ومخرجات الأدوات. التعامل معها كبيانات قابلة للتحليل دون الحاجة إلى صلاحيات محددة. تضمين القنوات التي تحمل محتوى نصيًا أو متعدد الوسائط.
المخرج: خريطة المدخلات والإجراءات المتاحة.
- 2
تحديد الآثار المحظورة
وصف الأضرار التي يجب تجنبها: الوصول خارج النطاق، والنشر غير المصرح به، ونقل البيانات، أو تغييرات الحساب. تحديد نتيجة قابلة للملاحظة لكل سيناريو؛ إذ أن الاعتماد على نص الإجابة فقط قد يُغفل إجراءً تم تنفيذه بالفعل.
المخرج: سيناريوهات التهديدات والثوابت.
- 3
عزل بيئة الاختبار
استخدام حسابات ومستندات ووجهات وهمية مُصنفة بوضوح مع علامات اختبار وأدوات محاكاة. تعطيل الإرسال الفعلي والوصول إلى بيئة الإنتاج. الاحتفاظ بنماذج وتكوينات ومجموعات بيانات وموصلات لإعادة تشغيل الحالات.
المخرج: بيئة اختبار مُرقمة الإصدارات.
- 4
إعادة تشغيل المدخلات المُعادية
ضع في مصدر اختبار تعليمات تُناقض المهمة، أو تطلب إجراءً خارج النطاق، أو تُؤكد صلاحية زائفة. غيّر اللغة، والموضع، والتنسيق، ومجموعات المصادر. قِس استدعاء الأداة، والوسائط، والتأثير الفعلي.
المُخرَج: آثار الحالات الناجحة، والمُعطَّلة، وغير المُحَلّة.
- 5
تعزيز الضوابط الخارجية
فرض الحد الأدنى من الأذونات، والتحقق من صحة الوسائط، وفصل القراءة/الكتابة، والوجهات المسموح بها في الأدوات. اشتراط الموافقة السياقية للعمليات الحساسة. لا يُزيل نظام RAG وتعليمات الرفض وحدها خطر الحقن.
المُخرَج: قواعد قابلة للتنفيذ واختبارات التجاوز.
- 6
تتبع التغييرات
إعادة تشغيل الحالات بعد التغييرات في النموذج، أو مجموعة البيانات، أو الأدوات، أو القواعد. تتبع أيضًا المهام المشروعة التي يتم تعطيلها. انشر النطاق المُختَبَر والقيود المعروفة؛ النجاح على مجموعة اختبار صغيرة لا يُثبت عدم وجود ثغرات أمنية. مخرجات
المخرج: تقرير عن تراجع الأداء وقرار النشر.
مثال عملي افتراضي
حالة توضيحية
مثال توضيحي: يُلخص مساعد مستند اختبار يطلب إرسال معلومات إلى وجهة خارجية.
القرار والأدلة المتوقعة
ترفض الأداة تلك الوجهة بغض النظر عن النص المُنشأ. يتحقق الاختبار من عدم إرسال أي شيء وأن الملخص الصحيح لا يزال يعمل.
تمييز الآليات
| الآلية | الغرض | التحقق أو التقييد |
|---|---|---|
| مُرشِّح الإدخال | اكتشاف بعض الأنماط المشبوهة | قد لا يتم تضمين الصياغة الجديدة |
| نموذج التعليمات | وصف الحدود المتوقعة | ليس تحكمًا في الوصول |
| تطبيق الأداة | رفض عملية غير مصرح بها | يجب التحقق من الهوية والكائن والوسائط |
مؤشرات الإدارة
| المؤشر | ما يقيسه | الإجراء الأول |
|---|---|---|
| الإجراءات المحظورة | الحالات التي تُسبب آثارًا خارج النطاق | حظر كل تأثير والتحقيق فيه |
| حالات الرفض الخاطئ | منع المهام المشروعة | المراجعة دون توسيع الأذونات |
| التغطية | القنوات والأدوات التي تم اختبارها فعليًا | تحديد النقاط العمياء |
الأخطاء الشائعة
- وضع أسرار في مطالبات الاختبار
- اختبار الإجابات المرئية فقط
- افتراض أن المستندات الداخلية موثوقة دائمًا
- المطالبة بحماية مطلقة بعد بعض الاختبارات
الأسئلة المتكررة
هل يمنع RAG حقن الثغرات؟
لا. قد تحمل المستندات المسترجعة تعليمات خبيثة. تبقى المصادر بيانات للمعالجة ضمن حدود مُحكمة.
هل يجب حظر كل مستند مشبوه؟
يعتمد ذلك على المهمة؛ فغالبًا ما يستطيع البرنامج تحليل مستند دون اتباع تعليماته أو امتلاك أدوات الكتابة.
كيف تُنشر النتائج؟
حدد الإصدارات، والنطاق، والآثار المختبرة، والقيود، والإصلاحات. استبعد البيانات السرية ومستندات العميل المستخدمة في العمل.
المراجع الرسمية
تدعم المراجع الطريقة. قم بتكييف عمليات التحقق مع سياقك؛ فهي ليست شهادة. قد تكون عناوين المراجع الأصلية والوثائق المصدرية بلغة أخرى.
