الموارد · 09
جودة نظام RAG: تقييم مساعد المعرفة بالأدلة.
قياس جودة النصوص، والاسترجاع، والاستشهادات، والإجابات، والامتناع، والانحراف بشكل منفصل لتحديد المشكلات التي تحتاج إلى إصلاح فعلي.
مُحدَّث · 3 min
ما يُساعد هذا الدليل على تحقيقه
- تحديد ما إذا كان الفشل ناتجًا عن مجموعة النصوص، أو عملية الاسترجاع، أو النموذج.
- تتبع كل اقتباس.
- مكافأة الامتناع المناسب.
- رصد الانحراف بعد التغيير.
فحص سريع
- هل المصدر المرجعي معتمد ومحدث؟
- هل يظهر المقطع الصحيح في أعلى الصفحة؟
- هل كل ادعاء حاسم مدعوم؟
- هل يمكن للمساعد أن يقول إنه لا يعرف؟
- هل يتم تصعيد الحالات الحساسة؟
طريقة خطوة بخطوة
- 1
تحديد المهام المفيدة.
جمع الأسئلة الحقيقية، ومتغيراتها، والنتيجة التجارية المتوقعة. إضافة الغموض، وتضارب المصادر، والوثائق منتهية الصلاحية، والطلبات الخارجة عن النطاق.
المُخرَج: تصنيف الحالات والمخاطر.
- 2
تنظيف مجموعة النصوص.
تعيين مالك، وحقوق، وتاريخ صلاحية، وحالة لكل مصدر. إزالة النصوص المكررة، والأجزاء غير المكتملة، والوثائق ذات المصادر غير المعروفة.
المُخرَج: سجل النصوص.
- 3
تقييم الاسترجاع.
قياس ما إذا تم العثور على المقاطع الضرورية وترتيبها قبل تقييم الصياغة النهائية. فحص الاستعلامات التي لا يوجد دليل عليها.
المُخرَج: مقاييس التغطية والملاءمة.
- 4
تقييم الإجابات والاستشهادات.
التحقق من مدى الالتزام بالنصوص، والشمولية، والقيود، وعلاقة الاستشهاد بالادعاء، والقدرة على تحديد التناقض.
المُخرَج: معايير الالتزام والفائدة.
- 5
اختبار الرفض والهجمات.
إضافة الحقن غير المباشر، وطلبات البيانات المحظورة، والمصادر الخبيثة، والوثائق ذات الأولوية الخاطئة، والإجراءات غير القابلة للتراجع. تحديد التصعيد البشري.
المُخرَج: نتائج الأمان والضوابط.
- 6
مراقبة التغييرات
إصدار البيانات، والفهرس، والإعدادات، والنموذج، والتعليمات. إعادة تشغيل المجموعة المستقرة عند كل تغيير وتحليل الملاحظات الفعلية دون الاحتفاظ ببيانات غير ضرورية.
المخرجات: لوحة معلومات الانحراف وإجراءات المراجعة.
مثال عملي افتراضي
حالة توضيحية
يُجيب مساعد داخلي وفقًا لإجراءات، بعضها منتهي الصلاحية. تحتوي مجموعة الاختبار على أسئلة روتينية وغامضة وغير قابلة للإجابة؛ ويتم التحقق من كل اقتباس مقابل نسخة المستند.
القرار والأدلة المتوقعة
ينتظر الإصدار حتى يتم استبعاد المصادر منتهية الصلاحية، ورفض الإجابات غير المدعومة، وتحديد مالك المجموعة.
مؤشرات الإدارة
| المؤشر | ما يقيسه | الإجراء الأول |
|---|---|---|
| تغطية الاسترجاع | الأسئلة التي تم العثور على المقاطع اللازمة لها | إصلاح مجموعة النصوص أو تقسيمها أو الاستعلام قبل النموذج |
| المصداقية | الادعاءات المدعومة بمصادر موثقة | حجب أو إعادة كتابة الإجابات غير المدعومة |
| الامتناع المفيد | رفض الحالات التي لا تحتوي على أدلة أو تصعيدها بشكل صحيح | ضبط عتبات الثقة |
| الانحدار | اختلاف الجودة بين الإصدارات على نفس المجموعة | تحديد التغيير المسؤول |
الأخطاء الشائعة
- قياس طلاقة الكتابة فقط
- خلط فشل الاسترجاع والوهم
- استخدام مجموعة تقييم سهلة للغاية
- تغيير عدة مكونات دون مقارنة
الأسئلة المتكررة
كم عدد الأسئلة المطلوبة؟
البدء بمجموعة تمثيلية ذات إصدارات تغطي المخاطر المهمة. التنوع والجودة أهم من الكمّ المصطنع.
هل يكفي مقياس آلي واحد؟
لا. صحيح أنه يُسرّع عملية الفرز، لكن الحالات الحساسة والغامضة والمتعلقة بمجال معين تتطلب معايير واضحة ومراجعة بشرية.
هل يجب الاحتفاظ بكل محادثة؟
لا. احتفظ فقط بالسجلات الضرورية ذات الغرض المحدد، وإمكانية الوصول إليها، ومدة زمنية محددة. يُفضّل إخفاء هوية الحالات لتحسين الأداء.
المراجع الرسمية
تدعم المراجع الطريقة. قم بتكييف عمليات التحقق مع سياقك؛ فهي ليست شهادة. قد تكون عناوين المراجع الأصلية والوثائق المصدرية بلغة أخرى.
