איכות RAG: הערכת עוזר ידע עם ראיות

מה מדריך זה עוזר להשיג

• לדעת האם הכשל נובע מהקורפוס, מהאחזור או מהמודל.
• מעקב אחר כל ציטוט.
• תגמול על הימנעות מתאימה.
• זיהוי סחיפה לאחר שינוי.

בדיקה מהירה

• האם מקור ההפניה מורשה ועדכני?
• האם הקטע הנכון מופיע קרוב לראש הדף?
• האם כל טענה מכרעת נתמכת?
• האם העוזר יכול לומר שהוא לא יודע?
• האם מקרים רגישים מועברים בשיעור סלימה?

שיטה שלב אחר שלב

1. 1

   הגדרת משימות שימושיות

   איסוף שאלות אמיתיות, הווריאציות שלהן והתוצאה העסקית הצפויה. הוספת עמימות, ניגודי מקורות, מסמכים שפג תוקפם ובקשות מחוץ לתחום.

   תוצר: טקסונומיית מקרים וסיכונים.

2. 2

   ניקוי הקורפוס

   הקצאת בעלים, זכויות, תאריך תוקף וסטטוס לכל מקור. הסרת כפילויות, קטעים יתומים ומסמכים בעלי סמכות לא ידועה.

   תוצר: רישום קורפוס.

3. 3

   הערכת אחזור

   מדידה האם נמצאו קטעים נחוצים ומדורגים לפני הערכת הניסוח הסופי. בדיקת שאילתות שאין להן ראיות.

   תוצר: מדדי כיסוי ורלוונטיות.

4. 4

   הערכת תשובות וציטוטים

   בדיקת נאמנות לקטעים, שלמות, מגבלות, הקשר בין ציטוט לטענה ויכולת לסמן סתירות.

   תוצר: רובריקה של נאמנות ותועלת.

5. 5

   בדיקת סירוב והתקפות

   הוספת הזרקה עקיפה, בקשות נתונים אסורות, מקורות זדוניים, מסמכי עדיפות כוזבים ופעולות בלתי הפיכות. הגדרת הסלמה אנושית.

   תוצר: תוצאות אבטחה ומעקות בטיחות.

6. 6

   ניטור שינוי

   קורפוס גרסה, אינדקס, הגדרות, מודל והוראות. הפעלה חוזרת של הסט היציב בכל שינוי ונתוח משוב אמיתי מבלי לשמור נתונים מיותרים.

   תוצר: לוח מחוונים להיסחפות ונהלי סקירה.

מדדי ניהול

טעויות נפוצות

• מדידת שטף כתיבה בלבד
• ערבוב של כשל אחזור והזיה
• שימוש בסט הערכה קל מדי
• שינוי מספר רכיבים ללא השוואה