أصبحت نماذج الذكاء الاصطناعي التوليدي جزءًا أساسيًا من العمليات المؤسسية، من خدمة العملاء إلى تحليل المستندات وإنتاج المحتوى واتخاذ القرار المدعوم بالبيانات. لكن مع هذا الانتشار، برزت مشكلة عملية ومكلفة: هلوسة الذكاء الاصطناعي. والمقصود بها أن ينتج النموذج إجابات تبدو مقنعة ومترابطة، لكنها غير دقيقة أو غير مدعومة بمصادر أو تحتوي على استنتاجات مختلقة. بالنسبة للشركات، لا تمثل هذه المشكلة مجرد خطأ تقني، بل خطرًا تشغيليًا وقانونيًا وسمعويًا.
تقليل الهلوسة لا يتحقق عبر حل واحد، بل من خلال منظومة متكاملة تشمل الـ grounding أو إسناد الإجابة إلى مصادر موثوقة، وآليات التحقق قبل عرض المخرجات أو اعتمادها، وتحسين جودة البيانات التي يتعلم منها النظام أو يستند إليها أثناء التشغيل. في هذا المقال نستعرض كيف تعمل هذه المحاور عمليًا، ولماذا يجب على المؤسسات التعامل معها كأولوية حوكمة وليس مجرد تحسين تقني.
ما هي هلوسة الذكاء الاصطناعي ولماذا تمثل مشكلة أعمال؟
هلوسة الذكاء الاصطناعي تحدث عندما ينشئ النموذج معلومة غير صحيحة أو مرجعًا غير موجود أو تفسيرًا لا يستند إلى أدلة كافية. هذا لا يعني بالضرورة أن النظام “يتعمد” الخطأ، بل إن طبيعة النماذج اللغوية تقوم على التنبؤ بالنص الأكثر احتمالًا استنادًا إلى الأنماط التي تعلمتها، وليس على التحقق الفعلي من الحقيقة مثل قاعدة بيانات موثقة أو محرك استدلال مؤسسي.
في بيئات الأعمال، تتضاعف خطورة هذه الظاهرة في الحالات التالية:
- الرد على استفسارات العملاء بمعلومات غير دقيقة عن المنتجات أو الشروط.
- تلخيص عقود أو سياسات امتثال مع إسقاط بنود حاسمة أو اختلاق استثناءات.
- إنتاج تقارير تنفيذية تتضمن أرقامًا أو استنتاجات غير مثبتة.
- دعم فرق الأمن السيبراني أو المخاطر بإجابات فنية غير صحيحة تؤدي إلى قرارات خاطئة.
- استخدام مساعدين داخليين يعتمد عليهم الموظفون دون تمييز بين المحتوى المؤكد والمحتوى التخمينی.
لهذا السبب، لا ينبغي تقييم نجاح أنظمة الذكاء الاصطناعي فقط على أساس الطلاقة اللغوية أو سرعة الاستجابة، بل على أساس الدقة، وقابلية التتبع، والقدرة على تفسير مصدر الإجابة.
أولًا: كيف يقلل grounding من الهلوسة؟
الـ grounding هو ربط مخرجات النموذج بسياق موثوق ومحدد بدل الاعتماد فقط على المعرفة العامة المخزنة في النموذج. عمليًا، يعني ذلك أن النموذج لا يجيب من “ذاكرته” وحدها، بل يستند إلى وثائق داخلية، قواعد معرفة، سياسات تشغيل، أو مصادر معتمدة يتم تمريرها له وقت الطلب.
لماذا يعتبر grounding فعالًا؟
عندما يعمل النموذج دون grounding، فإنه يحاول سد الفجوات المعرفية عبر التوقع اللغوي. أما عند تزويده بمحتوى ذي صلة ومحدث، فإن مساحة التخمين تقل، وتزداد احتمالية أن تكون الإجابة مرتبطة بالنص الفعلي المعتمد داخل المؤسسة. هذا مهم بشكل خاص في المجالات التي تتغير بسرعة، مثل الامتثال، والأمن السيبراني، والمنتجات، والأسعار، والسياسات الداخلية.
أشكال grounding الأكثر شيوعًا
- الاعتماد على قواعد معرفة داخلية مثل أدلة السياسات والإجراءات.
- استخدام أنظمة الاسترجاع المعزز بالتوليد لتزويد النموذج بالمقاطع ذات الصلة.
- تقييد الإجابة ضمن وثائق معتمدة فقط بدل الإنترنت المفتوح.
- إلزام النظام بذكر المصدر أو المقطع الذي استند إليه في كل إجابة.
متى يفشل grounding؟
رغم فعاليته، لا ينجح grounding تلقائيًا إذا كانت الوثائق نفسها قديمة، أو غير مكتملة، أو متضاربة، أو إذا كان نظام الاسترجاع يعيد مقاطع غير مناسبة للسؤال. كذلك، إذا صيغت المطالبات بطريقة فضفاضة، قد يخلط النموذج بين ما استرجعه وما “يتوقعه” لغويًا. لذلك يجب التعامل مع grounding كمنظومة تشمل جودة المحتوى، وفهرسته، وآلية استرجاعه، وقواعد الإجابة المبنية عليه.
ثانيًا: التحقق كطبقة حوكمة قبل الاعتماد
حتى مع grounding، لا ينبغي افتراض أن كل مخرجات النموذج موثوقة بالكامل. هنا تأتي أهمية التحقق بوصفه طبقة دفاع ثانية. الفكرة الأساسية هي ألا ينتقل المحتوى الذي ينتجه الذكاء الاصطناعي مباشرة إلى العميل أو القرار أو النظام downstream دون فحوص مناسبة.
مستويات التحقق الممكنة
- التحقق من وجود مصدر حقيقي لكل ادعاء أساسي.
- التحقق المنطقي من اتساق الإجابة داخليًا وعدم تناقضها مع السياسات.
- التحقق القاعدي عبر قواعد عمل واضحة مثل الحدود السعرية، صلاحيات الموافقات، أو متطلبات الامتثال.
- التحقق البشري في الحالات عالية الحساسية، مثل العقود أو القرارات التنظيمية أو التوصيات الأمنية.
أمثلة عملية على التحقق المؤسسي
إذا كان النموذج يجيب على أسئلة الموارد البشرية، يمكن فرض قاعدة تمنع أي إجابة عن الإجازات أو التعويضات ما لم ترتبط مباشرة بوثيقة سياسة حالية. وإذا كان النظام يساعد فرق المبيعات، يمكن التحقق من الأسعار والحزم مقابل قاعدة بيانات المنتج قبل إرسال الرد. وفي الأمن السيبراني، يجب ألا تُعتمد التوصيات الفنية تلقائيًا من دون مطابقتها مع معايير المؤسسة والبنية التقنية الفعلية.
التحقق ليس عائقًا للسرعة، بل وسيلة لتصنيف الإجابات حسب مستوى المخاطر. ليس كل شيء يحتاج مراجعة بشرية، لكن يجب تعريف الحالات التي تستوجب ذلك بوضوح. المؤسسات الناضجة لا تسأل فقط: “هل يستطيع النموذج الإجابة؟” بل تسأل أيضًا: “متى يجب ألا نثق بالإجابة دون تدقيق إضافي؟”
ثالثًا: البيانات الأفضل تقلل الأخطاء من المنبع
أي استراتيجية لتقليل الهلوسة ستظل محدودة إذا كانت البيانات رديئة. سواء كانت البيانات المستخدمة في fine-tuning، أو الوثائق التي يسترجع منها النظام، أو المراجع الداخلية التي يعتمد عليها الموظفون، فإن الجودة تؤثر مباشرة في مصداقية النتيجة.
ما المقصود ببيانات أفضل؟
- بيانات محدثة وتعكس الواقع التشغيلي الحالي.
- بيانات منسقة جيدًا وقابلة للبحث والاسترجاع.
- بيانات خالية من التكرار والتناقضات الجوهرية.
- بيانات مصنفة بحسب الموضوع والحساسية والنسخة وتاريخ السريان.
- بيانات مكتوبة بلغة واضحة تقلل مساحة التفسير الملتبس.
مشكلات البيانات التي تغذي الهلوسة
كثير من المؤسسات تمتلك كمًا كبيرًا من المعرفة، لكنها موزعة بين ملفات PDF قديمة، ورسائل بريد، ومستندات غير معتمدة، وإصدارات متعددة لنفس السياسة. عندما يصل الذكاء الاصطناعي إلى هذا الخليط دون حوكمة، فإنه قد يعيد إنتاج الالتباس الموجود أصلًا في البيئة المعرفية. بعبارة أخرى، النموذج لا يختلق دائمًا من فراغ؛ أحيانًا يعكس فوضى البيانات المؤسسية نفسها.
لذلك، فإن تحسين البيانات لا يعني فقط جمع المزيد منها، بل تنظيفها، وتوحيدها، وسحب النسخ القديمة، وإدارة دورة حياتها. وفي كثير من الحالات، يكون الاستثمار في هندسة المعرفة المؤسسية أكثر جدوى من محاولة “حل” المشكلة بالكامل عبر تعديل النموذج فقط.
تصميم تشغيلي يقلل الهلوسة على مستوى المؤسسة
النهج الأكثر فاعلية هو الجمع بين grounding والتحقق وتحسين البيانات ضمن تصميم تشغيلي واضح. هذا التصميم يجب أن يحدد مصادر الحقيقة، ومسارات الموافقة، وتصنيف الاستخدامات حسب المخاطر، ومسؤوليات الفرق المالكة للمحتوى.
عناصر إطار عملي
- تحديد حالات الاستخدام المسموح بها والممنوعة حسب درجة الحساسية.
- اعتماد مصادر بيانات رسمية ووضعها في طبقة معرفة موحدة.
- ربط النموذج بآلية استرجاع فعالة مع فلاتر للوثائق المنتهية أو غير المعتمدة.
- إلزام الإجابات عالية الأثر بإظهار المصادر أو مستوى الثقة.
- إضافة قواعد تحقق آلية قبل العرض أو التنفيذ.
- إحالة الحالات الحرجة إلى مراجعة بشرية.
- قياس الأداء عبر مؤشرات مثل الدقة، ونسبة الإجابات غير المدعومة، ومعدل التصعيد البشري.
دور الحوكمة والامتثال
تقليل الهلوسة ليس مسؤولية فريق الذكاء الاصطناعي وحده. فرق الأمن، والامتثال، والعمليات، وإدارة البيانات، ووحدات الأعمال جميعها معنية بوضع الضوابط المناسبة. على سبيل المثال، يجب تحديد من يملك تحديث سياسات المعرفة، ومن يعتمد الوثائق، وكيف يتم التعامل مع السجلات الحساسة، وما هي السجلات المطلوبة لأغراض التدقيق والمساءلة.
ماذا يجب أن تسأل الشركات قبل إطلاق أي مساعد ذكي؟
قبل نشر أي حل يعتمد على الذكاء الاصطناعي التوليدي، هناك مجموعة أسئلة استراتيجية تساعد على تقليل مخاطر الهلوسة منذ البداية:
- ما هي مصادر الحقيقة التي يجب أن يعتمد عليها النظام؟
- هل البيانات الحالية حديثة ومنظمة وقابلة للاسترجاع؟
- ما أنواع الأسئلة التي يجب أن يرفض النظام الإجابة عنها إذا لم تتوفر أدلة كافية؟
- هل يمكن للمستخدم رؤية المصدر أو مرجع الإجابة؟
- ما الحالات التي تتطلب مراجعة بشرية إلزامية؟
- كيف سيتم قياس الخطأ، ومن المسؤول عن تصحيحه؟
هذه الأسئلة تحول المشروع من تجربة تقنية إلى نظام أعمال يمكن الوثوق به وإدارته. وفي غياب هذا التفكير، غالبًا ما تتحول المساعدات الذكية إلى أدوات توليد نصوص تبدو مفيدة في العرض التوضيحي، لكنها غير مستقرة في التشغيل الفعلي.
الخلاصة
تقليل هلوسة الذكاء الاصطناعي لا يتحقق عبر وعود عامة أو ضبط بسيط للمطالبات، بل عبر ثلاث ركائز مترابطة: grounding قوي يربط الإجابات بمصادر معتمدة، وتحقق متعدد الطبقات يمنع اعتماد المخرجات غير الموثوقة، وبيانات أفضل تقلل الغموض والتناقض من الأساس. المؤسسات التي تتعامل مع هذه الركائز كجزء من حوكمة الذكاء الاصطناعي ستكون أقدر على تحويل النماذج التوليدية من أدوات مثيرة للاهتمام إلى أصول تشغيلية موثوقة.
في النهاية، السؤال ليس ما إذا كانت النماذج ستخطئ، بل كيف ستبني المؤسسة بيئة تحد من الخطأ، وتكشفه مبكرًا، وتمنع تحوله إلى مخاطرة أعمال. وهنا تحديدًا تظهر قيمة التصميم المؤسسي المنضبط: ذكاء اصطناعي أكثر فائدة، وأقل هلوسة، وأكثر قابلية للثقة.
قيّم الإجابات، وليس فقط استرجاع المستند.
يمكن أن يوفر التأسيس مادة مصدر نموذجية دون ضمان أن كل ادعاء يتبعها. لذا، ينبغي أن تتضمن مجموعة التقييم أسئلة حقيقية، وحالات لا يمكن الإجابة عليها، ووثائق قديمة، واستشهادات مضللة. يدعو المعهد الوطني للمعايير والتكنولوجيا (NIST) إلى تقييم موثق وقابل للتكرار.
- تقييم استرجاع الوثيقة الصحيحة، ودقة الإجابة، وملاءمة الاستشهاد بشكل منفصل.
- اختبار الامتناع عن الاستشهاد عندما لا تدعم مجموعة النصوص استنتاجًا.
- إعادة عرض الحالات بعد تغيير النموذج أو الفهرس أو المصدر، وتتبع حالات التراجع.
المصدر الأساسي: NIST AI RMF — Core. المنهج المرتبط: اقرأ الدليل العملي.
التحقق من استخراج JSON بالذكاء الاصطناعي
صحة البنية لا تمنع وجود قيم خاطئة.
- تحليل JSON يثبت صحة الصياغة فقط. حدّد الحقول المطلوبة والأنواع والمحتوى الإضافي المسموح؛ اختبر كائناً فارغاً وحقلاً غائباً ورقماً أُعيد كنص.
- قد يرتبط مبلغ صحيح النوع بعملة خاطئة أو بمقطع آخر من المصدر. طابق الحقول المهمة مع الأصل وميّز الغياب والصفر والتناقض.
- وجّه المستندات الغامضة إلى مراجعة منفصلة بدلاً من الكتابة الآلية. قس الأخطاء على أمثلة معروفة واحتفظ بالاختبارات السابقة عند تغيير النموذج أو المخطط.
حالة قبول قابلة للتكرار
مثال افتراضي: البيانات لا تصف عميلاً أو نتيجة مرصودة.
عرض بيانات الحالة
{
"schema": {
"type": "object",
"required": [
"amount"
],
"properties": {
"amount": {
"type": "number"
}
}
},
"output": {
"amount": "12.50"
}
}القرار المتوقع
"12.50" نص وليس number. ارفضه أو صححه صراحةً قبل الدمج.
إجراء التحقق
- حدد الحقول المطلوبة والأنواع والقيم.
- تحقق من مبلغ نصي بمخطط رقمي.
- احتفظ بمسار الخطأ والتصحيح الصريح. أضف نتيجة تطابق المخطط لكن تتعارض إحدى قيمها مع الوثيقة المصدر؛ وميّزها عن استخراج جرى التحقق منه.
هل يثبت اجتياز المخطط صحة البيانات؟
لا. يفحص المخطط البنية المعلنة؛ يحتاج معنى المصدر والوحدات والتفسير إلى مراجعة مستقلة.
المصدر الأساسي: JSON Schema — Object validation. المنهج المرتبط: اقرأ الدليل العملي.
اقتباسات الذكاء الاصطناعي: فحص الإجابة عند تغير المصدر
ربط الادعاء بنسخة ومقطع ومعالجة الاستشهاد القديم دون إعادة كتابة التاريخ.
- اربط الادعاء والوثيقة والنسخة أو التاريخ والمقطع الدقيق. احتفظ بمقتطف قصير مسموح أو موضعه مع سياق للعثور عليه. رابط يعمل لا يثبت دعم الوثيقة الحالية للادعاء؛ مرساة تقنية لا تتحقق من المعنى.
- في حالة افتراضية غيّر قيمة واحذف فقرة وكرر جملة في موضعين. تحقّق من أن الاقتباس يبيّن الغياب أو الالتباس بدلاً من الانتقال بصمت. محددات النص مع السياق تساعد في العثور لا في إثبات الحقيقة.
- افصل المقطع الموجود والادعاء المدعوم والتناقض والدليل غير الكافي. حدّد التاريخ المناسب للسؤال وراجع التغييرات المهمة قبل النشر. احفظ الإجابة والمرجع السابقين إذا كان التاريخ مفيداً؛ الدليل القديم ليس تحققاً حالياً.
حالة قبول قابلة للتكرار
مثال افتراضي: البيانات لا تصف عميلاً أو نتيجة مرصودة.
عرض بيانات الحالة
{
"cited_version": "v1",
"cited_delay_days": 5,
"opened_version": "v2",
"current_delay_days": 7,
"expected": "historical_context_or_current_correction"
}القرار المتوقع
مثال افتراضي: الإجابة تستشهد بمدة 5 أيام في v1 لكن الرابط يفتح v2 بمدة 7 أيام. العثور على الوثيقة لا يؤكد 5 أيام؛ احفظ السياق التاريخي أو صحّح للسؤال الحالي.
المصدر الأساسي: NIST AI 600-1 — Generative AI Profile. المنهج المرتبط: اقرأ الدليل العملي.
المراجع: البيانات والاستخدامات والحدود
تاريخ مراجعة الوثائق .
الملاحظات المرجعية المفصّلة متاحة باللغة الإنجليزية في هذه النسخة.
| المصدر والغرض | بيانات أو معيار متحقق منه | كيفية الاستخدام | حدود يجب مراعاتها |
|---|---|---|---|
| NIST · AI Risk Management Framework Organise management of AI-related risks. |
The AI RMF Core is organised around Govern, Map, Measure and Manage. It is a voluntary risk-management framework. | Define intended use, affected people and error consequences. Connect each risk to an evaluation, owner and stop or recovery mechanism. | The framework certifies neither a model nor an application. Using it does not remove the need to examine applicable requirements. |
| OWASP · LLM Top 10 Prepare tests for language-model application risks. |
The 2025 edition includes Prompt Injection, Sensitive Information Disclosure and Excessive Agency. | Turn a risk into an observable scenario: hostile document, restricted data or out-of-scope tool. Record expected behaviour and evidence of refusal. | A risk list is not a complete assessment. Input filtering alone does not establish authorisation for every action. |
