الموارد · 49
تقييم انحدارات الذكاء الاصطناعي قبل تغيير الإصدارات
قارن الإصدارات لنفس المهام، وحدد الخسائر المحلية، واتخذ قرارًا مدعومًا بحالات بدلاً من المتوسط.
مُحدَّث · 5 min
ما يُساعد هذا الدليل على تحقيقه
- عزل التغيير المُختَبَر
- الاحتفاظ بمجموعة مرجعية مستقلة
- فحص حالات الفشل حسب التجزئة
- تجهيز الإيقاف أو التراجع
فحص سريع
- ما هو المكون الذي تغير؟
- هل تم استخدام مجموعة الاختبار لتحسين المرشح؟
- من المسؤول عن حلّ الخلافات المتعلقة بالتعليقات التوضيحية؟
- هل يُخفي المتوسط خطأً حساسًا؟
- هل يُمكن استعادة الإعدادات السابقة؟
طريقة خطوة بخطوة
- 1
تحديد المهام وحالات الرفض
وصف المخرجات المتوقعة، والبيانات المسموح بها، والأخطاء المكلفة. فصل الدقة، والفائدة، والرفض المناسب، وتأثيرات الإجراءات. يدعو إطار عمل المعهد الوطني للمعايير والتكنولوجيا (NIST) إلى قياس مناسب للسياق؛ فهو لا يوفر درجة موثوقية موحدة.
المُخرَج: المعايير والجهة المسؤولة عن اتخاذ القرار.
- 2
فصل المرجع والاكتشاف.
الاحتفاظ بمجموعة بيانات ثابتة خارج نطاق التحسين. إضافة حالات التغذية الراجعة الجديدة المجهولة بشكل منفصل: فهي تكشف عن نقاط الضعف، ولكن يجب ألا تُغير المقام المُقارن ضمنيًا.
المُخرَج: مجموعات بيانات مُؤرشفة مع توثيق المصدر.
- 3
شرح الوثائق.
توضيح ما يجعل الإجابة مقبولة، أو جزئية، أو غير صحيحة. تكليف مُراجع مُؤهل بحل الغموض، والاحتفاظ بأسباب الخلاف. قد تكون الإجابة المرجعية الواحدة مُقيِّدة للغاية لمهمة مفتوحة.
المُخرَج: معايير التقييم والحالات المُحَكَّم فيها.
- 4
المقارنة في ظل ظروف متساوية
إعادة تشغيل مدخلات متطابقة مع الإصدارات والمعلمات والأدوات والمصادر المسجلة. تكرار التجارب عند اختلاف المخرجات والإبلاغ عن هذا الاختلاف. فصل حالات فشل النموذج، وغياب البيانات، وعدم توفر الأدوات، والاختبارات المعيبة.
المُخرَج: نتائج مُقارنة وآثار مُصغّرة.
- 5
اتخاذ القرار بناءً على فئة المخاطر
فحص الخسائر حسب اللغة ونوع المستند والحالة الحساسة حتى عند تحسن المتوسط. تحديد معايير الإيقاف والتصحيح والإصدار المحدود قبل قراءة النتائج. حالة واحدة خطيرة قد تُبرر حجب الإصدار.
المُخرَج: القرار والتحفظات والاستثناءات.
- 6
إعادة التشغيل بعد الإصدار
إعداد تكوين قابل للاستعادة ومالك يمكن الوصول إليه. مقارنة الملاحظات الأولية مع مجموعة الاختبار دون اعتبار النجاح المحلي دليلاً على جميع الاستخدامات. إعادة التقييم عند تغيير البيانات أو التبعيات.
المُخرَج: إجراءات المراقبة والتراجع.
افهم واحسب واتخذ القرار
قارن الحالات نفسها: مكاسب صافية وتراجعات محلية
لا يوضح معدلان إجماليان أي الحالات تغيرت. في المثال الافتراضي تُقيّم كل مهمة للنسختين A وB كمقبولة أو غير مقبولة وفق معيار واحد محدد قبل الاختبار.
قد يكون الرفض المناسب مقبولاً بحسب المهمة. تبقى الحالات التي ينقصها تقييم لإحدى النسختين منفصلة ولا تُعد إخفاقات.
| A / B | B مقبولة | B غير مقبولة |
|---|---|---|
| A مقبولة | ٧٠النتيجتان مقبولتان | ١٠خسائر من A إلى B |
| A غير مقبولة | ١٥مكاسب من A إلى B | ٥النتيجتان غير مقبولتين |
قاعدة الحساب
N = c + l + g + e ; A% = 100(c + l)/N ; B% = 100(c + g)/N ; Δpp = 100(g − l)/N
تفسير الانتقالات
ما الذي لا يحسمه المعدل؟
هذه الحالات الافتراضية مستقلة عن القيم المدخلة في الحاسبة.
- الاقتران
طابق معرفات الحالات والإصدارات وظروف الاختبار.
- التقييم
طبّق معياراً واحداً وعالج التقييمات الناقصة أو الملتبسة.
- الفحص
راجع الخسائر بحسب عائلات المخاطر قبل القرار.
تمارين قراءة افتراضية لا تقيّم نظاماً حقيقياً.
المعدل نفسه: الإجابات المقبولة نفسها؟
- الملاحظة
- تحتوي مجموعة أخرى على عشر مكاسب وعشر خسائر.
- التفسير المتوقع
- الفرق الصافي صفر لكن عشرين حالة تغير وضعها.
ينقص تقييم B؟
- الملاحظة
- قُيّمت A ولم تُقيّم B بعد.
- التفسير المتوقع
- أبقِ الزوج خارج الجدول المكتمل وبيّن النقص واحصل على التقييم.
تغيرت قاعدة التقييم؟
- الملاحظة
- تستخدم A المعيار القديم وB المعيار الجديد.
- التفسير المتوقع
- أعد تقييم النسختين بقاعدة مشتركة قبل المقارنة.
خسارة حرجة واحدة فقط؟
- الملاحظة
- تخالف إحدى الخسائر قاعدة عزل حُددت مسبقاً كسبب لمنع النشر.
- التفسير المتوقع
- أوقف النشر في هذا النطاق؛ خمسة عشر مكسباً لا تزيل هذا المانع.
ورقة عمل قابلة لإعادة الاستخدام
أكمل بملاحظاتك المعتمدة. هذه الحقول عبارة عن نموذج عمل، وليست نتائج مُلاحظة.
| الحقل | المعلومات المطلوب تسجيلها |
|---|---|
| الحالة والقطاع | المعرّف الثابت، اللغة، نوع المهمة |
| المتوقع | معيار القبول والأدلة المرجعية |
| الإصداران أ/ب | النتيجة، التكرار، سبب الفشل |
| القرار | القبول، التصحيح، أو الإيقاف؛ المالك والأدلة |
مثال عملي افتراضي
حالة توضيحية
مثال افتراضي: البيانات لا تصف عميلاً أو نتيجة مرصودة. تتحسن النتيجة الإجمالية لمصنف، لكنه يصبح أضعف في اكتشاف الطلبات التي تحتاج إلى معالجة عاجلة.
القرار والأدلة المتوقعة
أعد اختبار الحالات نفسها، واحتفظ بالنتائج حسب نوع الطلب، وراجع الأخطاء الحرجة وفق تعريف مشترك. اتخذ القرار بحسب الخطورة والحجم وإمكان المعالجة. أفضل متوسط لا يعني تلقائياً أفضل اختيار للخدمة.
تمييز الآليات
| الآلية | الغرض | التحقق أو التقييد |
|---|---|---|
| مجموعة مستقرة | مقارنة الإصدارات | استبعادها من التحسين |
| حالات جديدة | اكتشاف نقاط الضعف | إعداد تقرير منفصل عن النتائج السابقة |
| الملاحظة أثناء الخدمة | فهم الاستخدام الفعلي | احترام الأذونات، والتقليل، والسياق |
مؤشرات الإدارة
| المؤشر | ما يقيسه | الإجراء الأول |
|---|---|---|
| الخسائر المزدوجة | حالات كانت مقبولة سابقًا وتفشل الآن | فحص كل خسارة حساسة |
| اختلاف في التعليقات التوضيحية | حالات ذات أحكام مختلفة | توضيح المعايير قبل المقارنة |
| تغطية القطاعات | الحالات الممثلة فعليًا | تسمية الاستخدامات غير المختبرة |
الأخطاء الشائعة
- التحسين في الاختبار النهائي
- تغيير المجموعة والإصدار معًا
- التعامل مع الحكم الآلي على أنه حقيقة مطلقة
- قبول الخسائر الحرجة لأن المتوسط تحسينات
الأسئلة المتكررة
هل هناك حاجة إلى قاضٍ آلي؟
لا. يمكن أن يُسرّع عملية الفرز إذا تم التحقق من صحة معاييره؛ ولا تزال القضايا الغامضة أو المكلفة بحاجة إلى حُكم تجاري.
هل التحسين المتوسط كافٍ؟
لا. قارن الحالات والقطاعات ذات الصلة، ثم طبّق المعايير المُحددة قبل الاختبار.
ما عدد الحالات المطلوبة؟
يعتمد الحجم على التنوع والمخاطر. قدّم تقريرًا عن العدد والمصدر والقيود؛ لا تُؤمّن مجموعة صغيرة سلامة عامة.
RAG: حقوق الوصول والاستشهادات والذاكرة المؤقتة
الملاحظات المرجعية المفصّلة متاحة باللغة الإنجليزية في هذه النسخة.
Replay rights after every RAG-chain change
Changing a lexical engine, fusion, cache or citation resolver may reopen a secondary path. Freeze a fictional document set with expected outcomes before comparing versions.
- Version policy, index, connector, model and cases.
- Exercise initial, revoked-group and deleted-object states.
- Examine every difference without hiding a critical failure in an average.
Explore the RAG access matrix and replay cases →
References consulted on · OWASP · LLM08:2025 Vector and Embedding Weaknesses OWASP · API1:2023 Broken Object Level Authorization
الذكاء الاصطناعي: فحص نتائج JSON
الملاحظات المرجعية المفصّلة متاحة باللغة الإنجليزية في هذه النسخة.
Test refused and undecidable outputs too
A model, prompt or validator update can change handling of duplicates, types and dates. Acceptance checks need to cover these decisions beyond the number of parseable JSON responses.
- Version the schema, validator settings and reference cases.
- Check that well-formed but false values remain blocked.
- Keep syntax, contract, date and evidence errors separate.
Compare the 14 outputs and their reasons →
Sources reviewed on · IETF · RFC 8259 · JSON Schema · Object reference · JSON Schema · Draft 2020-12 validation · Python 3.12 · json decoder · python-jsonschema · Schema validation · OWASP · LLM05:2025 Improper Output Handling
RAG: الملاءمة والترتيب
الملاحظات المرجعية المفصّلة متاحة باللغة الإنجليزية في هذه النسخة.
Compare retrieval before evaluating the answer
Keep the same needs, judgments and depth k when comparing configurations. Inspect regressing queries before drawing conclusions from an average.
- Separate window precision, relevant-record coverage and ordering quality.
- Document missing judgments and the no-relevant-record convention.
- Then evaluate the answer, citations and refusals using a separate protocol.
Explore ranking measures and relevance judgments →
Stanford CS276 · Retrieval evaluation · 2019 course archive · PDF pp. 3, 5–6 · consulted 2026-10-23
NIST TREC · Reciprocal rank definition · Repository snapshot 35cf096ba6d5ae08ca4803c056b31ed61a56a6d4 · consulted 2026-10-23
المراجع الرسمية
تدعم المراجع الطريقة. قم بتكييف عمليات التحقق مع سياقك؛ فهي ليست شهادة. قد تكون عناوين المراجع الأصلية والوثائق المصدرية بلغة أخرى.
تاريخ مراجعة المراجع .
- NIST — AI Risk Management Framework 1.0, Measure
- NIST — AI RMF Core, Measure
- Dror et al. · ACL 2018 · §3.2.2, paired observations
- OWASP · LLM08:2025 Vector and Embedding Weaknesses
- OWASP · API1:2023 Broken Object Level Authorization
- IETF · RFC 8259
- JSON Schema · Object reference
- JSON Schema · Draft 2020-12 validation
- Python 3.12 · json decoder
- python-jsonschema · Schema validation
- OWASP · LLM05:2025 Improper Output Handling
- Stanford CS276 · Retrieval evaluation
- NIST TREC · Reciprocal rank definition
