משאבים · 09
איכות RAG: הערכת עוזר ידע עם ראיות
מדידת קורפוס, אחזור, ציטוטים, תשובות, הימנעות וסחיפה בנפרד כדי שתדעו מה באמת צריך תיקון.
מעודכן · 8 min
מה מדריך זה עוזר להשיג
- לדעת האם הכשל נובע מהקורפוס, מהאחזור או מהמודל.
- מעקב אחר כל ציטוט.
- תגמול על הימנעות מתאימה.
- זיהוי סחיפה לאחר שינוי.
בדיקה מהירה
- האם מקור ההפניה מורשה ועדכני?
- האם הקטע הנכון מופיע קרוב לראש הדף?
- האם כל טענה מכרעת נתמכת?
- האם העוזר יכול לומר שהוא לא יודע?
- האם מקרים רגישים מועברים בשיעור סלימה?
שיטה שלב אחר שלב
- 1
הגדרת משימות שימושיות
איסוף שאלות אמיתיות, הווריאציות שלהן והתוצאה העסקית הצפויה. הוספת עמימות, ניגודי מקורות, מסמכים שפג תוקפם ובקשות מחוץ לתחום.
תוצר: טקסונומיית מקרים וסיכונים.
- 2
ניקוי הקורפוס
הקצאת בעלים, זכויות, תאריך תוקף וסטטוס לכל מקור. הסרת כפילויות, קטעים יתומים ומסמכים בעלי סמכות לא ידועה.
תוצר: רישום קורפוס.
- 3
הערכת אחזור
מדידה האם נמצאו קטעים נחוצים ומדורגים לפני הערכת הניסוח הסופי. בדיקת שאילתות שאין להן ראיות.
תוצר: מדדי כיסוי ורלוונטיות.
- 4
הערכת תשובות וציטוטים
בדיקת נאמנות לקטעים, שלמות, מגבלות, הקשר בין ציטוט לטענה ויכולת לסמן סתירות.
תוצר: רובריקה של נאמנות ותועלת.
- 5
בדיקת סירוב והתקפות
הוספת הזרקה עקיפה, בקשות נתונים אסורות, מקורות זדוניים, מסמכי עדיפות כוזבים ופעולות בלתי הפיכות. הגדרת הסלמה אנושית.
תוצר: תוצאות אבטחה ומעקות בטיחות.
- 6
ניטור שינוי
קורפוס גרסה, אינדקס, הגדרות, מודל והוראות. הפעלה חוזרת של הסט היציב בכל שינוי ונתוח משוב אמיתי מבלי לשמור נתונים מיותרים.
תוצר: לוח מחוונים להיסחפות ונהלי סקירה.
להבין, לחשב ולהחליט
תשובות בינה מלאכותית: להבחין בין איכות, כיסוי והימנעות
ספרו בנפרד שאלות שנבדקו, תשובות שהופקו ותשובות שאומתו. מסגרת לימודית זו של CIE אינה ציון של NIST ואינה קובעת סף אישור אוניברסלי.
הזינו כאן רק שאלות שציפו לקבל עליהן תשובה. הגדירו אימות מראש: נכונות, קטע מצוטט שתומך בטענה, גישה מורשית ומקור עדכני דיו. בדקו בנפרד הימנעות צפויה, סתירות ושגיאות חמורות.
מדדים וראיות
| מדד | פירוש | ראיה נדרשת |
|---|---|---|
| שאלות שנבדקו | קבוצה עם תשובה צפויה | שאלות, קריטריונים וגרסאות קבועות |
| תשובות שהופקו | שאלות שקיבלו תשובה | טקסטים ומקרי הימנעות שנשמרו |
| תשובות שאומתו | תשובות העומדות בקריטריון | הכרעה וקטע תומך |
דוגמה בדיונית
דוגמה בדויה: 100 שאלות, 80 תשובות ו־72 תשובות שאומתו. איכות בין התשובות: 90%; כיסוי: 80%; הצלחה בכלל הקבוצה: 72%. הצגת 90% בלבד מסתירה 20 שאלות ללא תשובה ו־8 תשובות שלא אומתו.
- 72 / 100 · אומתו
- 8 / 100 · לא אומתו
- 20 / 100 · ללא תשובה
100 = 72 + 8 + 20. שאלות ללא תשובה נשארות גלויות; אלה אינם נתוני מדידה של האתר.
כלל החישוב
איכות = אומתו / הופקו. כיסוי = הופקו / נבדקו. הצלחה = אומתו / נבדקו. כשהמכנה אפס אי אפשר לחשב את היחס.
דוגמה בדיונית
סיטואציה להמחשה
עוזר פנימי עונה מתוך נהלים, שחלקם פג תוקפם. ערכת הבדיקה מכילה שאלות שגרתיות, דו-משמעיות ובלתי ניתנות למענה; כל ציטוט נבדק מול גרסת המסמך.
החלטה וראיות צפויות
שחרור ממתין עד שמקורות שפג תוקפם לא יודרו, תשובות לא נתמכות יידחו ובעל הקורפוס מזוהה.
מדדי ניהול
| מדד | מה הוא מודד | פעולה ראשונה |
|---|---|---|
| כיסוי אחזור | שאלות שעבורן נמצאו קטעים נחוצים | תיקון קורפוס, חלוקה לנקודות או שאילתה לפני המודל |
| נאמנות | טענות הנתמכות באמת על ידי מקורות מצוטטים | חסימה או כתיבה מחדש של תשובות לא נתמכות |
| הימנעות מועילה | מקרים ללא ראיות שנדחו או הועלו כהלכה | כוונון ספי ביטחון |
| רגרסיה | הפרש איכות בין גרסאות באותו סט | זיהוי השינוי האחראי |
טעויות נפוצות
- מדידת שטף כתיבה בלבד
- ערבוב של כשל אחזור והזיה
- שימוש בסט הערכה קל מדי
- שינוי מספר רכיבים ללא השוואה
שאלות נפוצות
כמה שאלות נדרשות?
התחל עם סט מייצג וגרסאי המכסה סיכונים חשובים. גיוון ואיכות חשובים יותר מנפח מלאכותי.
האם מדד אוטומטי אחד מספיק?
לא. זה מאיץ את תהליך הטריאז', אבל מקרים רגישים, דו-משמעיים ותחומיים דורשים קריטריונים מפורשים ובדיקה אנושית.
האם יש לשמור כל שיחה?
לא. יש לשמור רק עקבות הכרחיות עם מטרה, גישה ומשך מוגדרים. יש להעדיף מקרים אנונימיים לשיפור.
RAG: הרשאות, ציטוטים ומטמון
הערות המקורות המפורטות זמינות באנגלית במהדורה זו.
Evaluate an answer alongside its document rights
A relevant citation can support an accurate answer while revealing a forbidden document. RAG evaluation should separate faithfulness, freshness and authorisation of passages actually supplied to the model.
- Annotate permitted documents for each test identity.
- Remove a group and replay an existing conversation and citation.
- Track incorrect answers, missing evidence and out-of-scope exposure separately.
Explore the RAG access matrix and replay cases →
References consulted on · OWASP · LLM08:2025 Vector and Embedding Weaknesses OWASP · API1:2023 Broken Object Level Authorization
בינה מלאכותית: בדיקת תוצאת JSON
הערות המקורות המפורטות זמינות באנגלית במהדורה זו.
A retrieved reference does not prove the extracted value
A RAG system can find the right document and return schema-valid JSON that misstates a field. Separate retrieval, the output contract and passage reconciliation to locate what needs correction.
- Keep an independent reference for decisive fields.
- Test missing values, contradictions and unavailable documents.
- Retain unexecuted checks as such instead of counting them as passes.
Compare the 14 outputs and their reasons →
Sources reviewed on · IETF · RFC 8259 · JSON Schema · Object reference · JSON Schema · Draft 2020-12 validation · Python 3.12 · json decoder · python-jsonschema · Schema validation · OWASP · LLM05:2025 Improper Output Handling
RAG: רלוונטיות ודירוג
הערות המקורות המפורטות זמינות באנגלית במהדורה זו.
A RAG system can retrieve useful documents and still produce an incorrect answer. Retrieval evaluation therefore needs its own questions, relevance judgments and defined reading depth. This dossier explains four ranking measures without confusing them with answer faithfulness, access permissions or guaranteed business outcomes.
Documentary references: Stanford CS276’s evaluation material from the 2019 archive and NIST TREC’s reciprocal-rank definition. The CIE workshop uses binary judgments and one query at a time. RR@k here is truncated at k; MRR is a mean RR across multiple queries and is not computed by this workshop.
Stanford CS276 · Retrieval evaluation · 2019 course archive · PDF pp. 3, 5–6 · consulted 2026-10-23
Four measures, four different questions
| Measure | Workshop calculation | Useful reading | Condition or limitation |
|---|---|---|---|
| Precision@k | Relevant results in the first k / k | Measures the useful proportion in the inspected window. | Unavailable if any judgment is missing in the first k. |
| Recall@k | Relevant results in the first k / R | R is the number of relevant records in the entire small judged corpus. | If R is unknown, publish a value only when it is defined and identical in every possible case. |
| RR@k | 1 / rank of the first relevant result within k | Equals 0 when no relevant record appears in that fully judged window. | An unjudged record before the first relevant result makes that rank uncertain. |
| nDCG@k | DCG@k / IDCG@k | Compares ranking gain with the ideal order at the same k. | Unavailable if the value changes across possible cases or any case has a zero ideal. |
Explicit convention: judgment rᵢ is 0 or 1; DCG@k = Σᵢ₌₁ᵏ rᵢ / log₂(i + 1). With binary relevance, gain 2ʳⁱ − 1 also equals rᵢ. IDCG@k puts min(R, k) relevant records first using the same discount. nDCG@k = DCG@k / IDCG@k when that ideal is defined and nonzero. Keep gain, discount, depth and conventions with any published score.
NIST TREC · Reciprocal rank definition · Repository snapshot 35cf096ba6d5ae08ca4803c056b31ed61a56a6d4 · consulted 2026-10-23
A fictional six-record corpus with declared judgments
Titles and judgments below are created for this exercise. They are neither real search results nor automatic title-based judgments. 1 means relevant, 0 nonrelevant and ? unjudged. Columns Q1–Q5 correspond to the needs displayed in the workshop.
- Q1 · Prepare a restoration test
- Q2 · Authorise a document read
- Q3 · Check a quantum sensor
- Q4 · Restoration test: C judgment missing
- Q5 · Restoration: B unjudged, other records off-topic
| Fictional record | Q1 | Q2 | Q3 | Q4 | Q5 |
|---|---|---|---|---|---|
| A · Restoration procedure | 1 | 0 | 0 | 1 | 1 |
| B · Recovery budget | 1 | 0 | 0 | 1 | ? |
| C · Restoration test log | 1 | 0 | 0 | ? | 0 |
| D · Account and permission guide | 0 | 1 | 0 | 0 | 0 |
| E · Archiving policy | 0 | 0 | 0 | 0 | 0 |
| F · Publication schedule | 0 | 0 | 0 | 0 | 0 |
סדנת דירוג מסמכים
Choose a need and enter an ordered list of A–F identifiers separated by commas. Change k to inspect only the first k results. The list may omit documents, but each identifier must be unique and k cannot exceed its length. Calculation stays local without collection, import, transmission, storage or export.
This reader queries no search engine, private corpus or AI model. It measures neither answer truth, correct citation nor permission security. Scores concern declared judgments in this small fictional universe. Do not present an exercise value as a benchmark of your system or a universal deployment threshold.
A–F, no duplicates, separated by commas; ASCII spaces allowed. k is an integer from 1 to 6, no greater than list length.
תוצאה
Unjudged and nonrelevant are different states ↓
| Rank | Fictional record | Judgment | Discount | DCG contribution |
|---|
Unjudged and nonrelevant are different states
| Situation | CIE educational convention |
|---|---|
| Missing judgment within k | Precision may vary. Reciprocal rank remains known if the first relevant record is identified before any unjudged record. |
| Missing judgment elsewhere | R becomes a range of possibilities. Do not assume recall and nDCG are always unknown: a value may remain constant, for example when the order is ideal in every case. |
| No relevant record in a fully judged corpus | Precision@k and RR@k are 0. The reader shows Recall@k and nDCG@k as unavailable for this zero-denominator case. |
| CIE publication rule | Explore every binary assignment of missing judgments, at most 64 for six records. Publish a measure only if it is defined and identical in every assignment. These are possibilities, with no probabilities assigned and no actual imputation. |
Ten explained scenarios, available without JavaScript
K01 · Relevant records first
| Need | Supplied order | k | Expected reading |
|---|---|---|---|
| Q1 | A,B,C,D,E,F | 3 | Precision@3 = 1, Recall@3 = 1, RR@3 = 1 and nDCG@3 = 1 in this fully judged corpus. |
K02 · Relevant records after cutoff
| Need | Supplied order | k | Expected reading |
|---|---|---|---|
| Q1 | D,E,F,A,B,C | 3 | All four measures are 0 at k = 3. Relevant records exist but are placed after the inspected window. |
K03 · First relevant record at rank two
| Need | Supplied order | k | Expected reading |
|---|---|---|---|
| Q1 | D,A,E,B,F,C | 3 | Precision@3 and Recall@3 are 1/3; RR@3 is 1/2. nDCG considers position and the ideal order. |
K04 · Relevant records omitted
| Need | Supplied order | k | Expected reading |
|---|---|---|---|
| Q1 | A,D,E,F | 3 | R remains 3 in the corpus even though B and C are absent from the list. Recall must not use only returned results as its denominator. |
K05 · Duplicate identifier
| Need | Supplied order | k | Expected reading |
|---|---|---|---|
| Q1 | A,A,B | 3 | Input rejected: A must not be counted twice. Correct the ranking rather than inflating the relevant count. |
K06 · Unjudged before the first relevant record
| Need | Supplied order | k | Expected reading |
|---|---|---|---|
| Q4 | C,A,D,E,B,F | 3 | C is unjudged. Precision@3, Recall@3, RR@3 and nDCG@3 are unavailable under the declared conventions. |
K07 · Unjudged after the window
| Need | Supplied order | k | Expected reading |
|---|---|---|---|
| Q4 | A,B,D,E,F,C | 3 | Precision@3 is 2/3 and RR@3 is 1. Recall@3 and nDCG@3 remain unavailable because C’s corpus judgment is missing. |
K08 · Need with no relevant record
| Need | Supplied order | k | Expected reading |
|---|---|---|---|
| Q3 | A,B,C,D,E,F | 3 | Precision@3 and RR@3 are 0. Recall and nDCG remain unavailable; this is an explicit convention rather than division by zero. |
K09 · Change reading depth
| Need | Supplied order | k | Expected reading |
|---|---|---|---|
| Q2 | A,D,B,C,E,F | 1 | At k = 1 no relevant record is visible. At k = 2, D appears: precision 1/2, recall 1 and RR@2 = 1/2. |
K10 · Unknown relevance, always ideal ordering
| Need | Supplied order | k | Expected reading |
|---|---|---|---|
| Q5 | A,B,C,D,E,F | 2 | B may be relevant or not. Either way, all relevant records are within the first two ranks and the order stays ideal: recall, RR and nDCG are 1. Precision remains unknown. |
Prepare a reproducible evaluation
| Suggested check | Record to retain |
|---|---|
| Needs | Representative and unanswerable questions; specify the documentary need behind each wording. |
| Corpus | Document and index versions, accessible scope and deletion or revocation rules. |
| Judgments | Relevance rule, assessors, disagreements and unjudged state; do not equate clicks with documentary truth. |
| Protocol | Same k, filters, data and conventions before and after a retrieval change. |
| Regression | Per-query and per-need-family results, gaining and losing cases, hypothesis and checks on new documents. |
| Final answer | Evaluate faithfulness, citations, useful refusals and permissions separately; better retrieval scores do not validate this stage. |
For a reviewable decision, keep the question, ranking, judgments, k and corpus limitations with the score. One average can conceal a regression on a critical need. Error tracking and answer review remain necessary even when the first records are relevant.
Sources, editions and credits
Original CIE explanations, six documents, five needs, judgments and scenarios. Conceptual references: Stanford CS276 and NIST TREC’s reciprocal-rank definition. No source chart, ranking example or code is reproduced. The CIE program and its unavailable-value conventions are not a complete trec_eval implementation.
Stanford CS276 · Retrieval evaluation · 2019 course archive · PDF pp. 3, 5–6 · consulted 2026-10-23
SHA-256 : be38261a8cdbc95551a502504d0a1c146ea453ffd9712243ea067ac8538c1826
NIST TREC · Reciprocal rank definition · Repository snapshot 35cf096ba6d5ae08ca4803c056b31ed61a56a6d4 · consulted 2026-10-23
SHA-256 : 64159909e6e1e4e9e4dd3c569b119fdc90696d0b03cd902e6a9358dcd6e84677
הפניות רשמיות
הפניות תומכות בשיטה. התאימו את הבדיקות להקשר שלכם; הן אינן הסמכה. כותרות הפניות ומסמכי המקור המקוריים עשויים להיות בשפה אחרת.
תאריך בדיקת המקורות .
- NIST — AI Risk Management Framework
- NIST — Generative AI Profile
- OWASP · LLM08:2025 Vector and Embedding Weaknesses
- OWASP · API1:2023 Broken Object Level Authorization
- IETF · RFC 8259
- JSON Schema · Object reference
- JSON Schema · Draft 2020-12 validation
- Python 3.12 · json decoder
- python-jsonschema · Schema validation
- OWASP · LLM05:2025 Improper Output Handling
- Stanford CS276 · Retrieval evaluation
- NIST TREC · Reciprocal rank definition
