משאבים · 49
הערכת רגרסיות של בינה מלאכותית לפני שינוי גרסאות
השוואת גרסאות באותן משימות, מציאת הפסדים מקומיים וקבלת החלטה המבוססת על מקרים ולא על ממוצע.
מעודכן · 5 min
מה מדריך זה עוזר להשיג
- בידוד השינוי שנבדק
- שמירה על מערך ייחוס עצמאי
- בדיקת כשלים לפי מקטע
- הכנת כיבוי או החזרה למצב קודם
בדיקה מהירה
- איזה רכיב השתנה?
- האם מערך הבדיקות שימש לאופטימיזציה של המועמד?
- מי פותר חילוקי דעות בנוגע לביאורים?
- האם ממוצע מסתיר שגיאה רגישה?
- האם ניתן לשחזר את התצורה הקודמת?
שיטה שלב אחר שלב
- 1
הגדרת משימות ודחיות
תיאור פלט צפוי, נתונים מותרים ושגיאות יקרות. הפרדה בין דיוק, תועלת, סירוב מתאים ואפקטים של פעולה. מסגרת NIST קוראת למדידה מתאימה להקשר; היא אינה מספקת ציון מהימנות אוניברסלי.
תוצר: קריטריונים ובעל החלטה.
- 2
הפרדת הפניה וגילוי.
שמירה על קבוצה יציבה מחוץ לאופטימיזציה. הוספת מקרי משוב אנונימיים חדשים בנפרד: הם חושפים נקודות עיוורות אך לא צריכים לשנות בשקט את מכנה ההשוואה.
תוצר: קבוצות גרסאות עם מקור.
- 3
ביאור מסמך.
הסבר מה הופך תשובה למקובלת, חלקית או שגויה. יש לבקש מבקר מוסמך לפתור עמימות ולשמור סיבות לחילוקי דעות. תשובה עם הפניה אחת עשויה להיות מגבילה מדי עבור משימה פתוחה.
תוצר: רובריקה ומקרים שניתנו לשיפוט.
- 4
השוואה בתנאים שווים.
הפעלה חוזרת של קלטים זהים עם גרסאות, פרמטרים, כלים ומקורות מוקלטים. חזור על ניסויים כאשר התפוקות משתנות ודווח על שונות. הפרד כשל מודל, נתונים חסרים, כלים לא זמינים ובדיקה פגומה.
תוצר: תוצאות מזווגות ועקבות ממוזערות.
- 5
החלטה לפי משפחת סיכונים.
בדיקת הפסדים לפי שפה, סוג מסמך ומצב רגיש גם כאשר הממוצע משתפר. הגדרת קריטריונים של עצירה, תיקון ושחרור מוגבל לפני קריאת התוצאות. מקרה חמור אחד יכול להצדיק עיכוב שחרור.
תוצר: החלטה, הסתייגויות וחריגים.
- 6
הפעלה חוזרת לאחר שחרור.
הכנת תצורה ניתנת לשחזור ובעלים שניתן להגיע אליהם. השווה משוב מוקדם עם מערך הבדיקות מבלי להתייחס להצלחה מקומית כראיה לכל השימושים. הערכה מחדש כאשר נתונים או תלויות משתנים.
תוצר: ניטור ונוהל החזרה למצב קודם.
להבין, לחשב ולהחליט
השוואת אותם מקרים: שיפור נטו ונסיגות מקומיות
שני שיעורים כוללים אינם מראים אילו מקרים השתנו. בדוגמה הבדיונית כל משימה נשפטת עבור A ו־B כקבילה או לא קבילה לפי אותו קריטריון שנקבע לפני הבדיקה.
סירוב מתאים יכול להיות קביל למשימה. מקרים שחסרה בהם הערכה לאחת הגרסאות נשמרים בנפרד ואינם נחשבים לכישלונות.
| A / B | B קבילה | B לא קבילה |
|---|---|---|
| A קבילה | 70שתיהן קבילות | 10אובדנים מ־A ל־B |
| A לא קבילה | 15שיפורים מ־A ל־B | 5שתיהן לא קבילות |
כלל החישוב
N = c + l + g + e ; A% = 100(c + l)/N ; B% = 100(c + g)/N ; Δpp = 100(g − l)/N
פירוש המעברים
מה השיעור אינו קובע
החלופות הבדיוניות אינן תלויות בערכי המחשבון.
- לזווג
ליישר מזהי מקרים, גרסאות ותנאי בדיקה.
- לשפוט
להחיל קריטריון אחיד ולפתור הערכות חסרות או עמומות.
- לבדוק
לסקור אובדנים לפי משפחת סיכון לפני החלטה.
תרגילים בדיוניים ללא הערכת מערכת אמיתית.
אותו שיעור, אותן תשובות קבילות?
- תצפית
- בקבוצה אחרת יש עשרה שיפורים ועשרה אובדנים.
- פירוש צפוי
- ההפרש נטו אפס אך עשרים מקרים מחליפים מצב.
חסרה הערכה ל־B?
- תצפית
- A הוערכה ו־B טרם הוערכה.
- פירוש צפוי
- לשמור את הזוג מחוץ לטבלה המלאה, לדווח על החוסר ולקבל הערכה.
כלל ההערכה השתנה?
- תצפית
- A משתמשת בקריטריון הישן ו־B בחדש.
- פירוש צפוי
- להעריך מחדש את שתי הגרסאות לפי כלל משותף.
רק אובדן קריטי אחד?
- תצפית
- אחד האובדנים מפר כלל בידוד שהוגדר מראש כחוסם פרסום.
- פירוש צפוי
- לעצור פרסום בהיקף זה; חמישה עשר שיפורים אינם מסירים את החסימה.
גליון עבודה לשימוש חוזר
מלאו את התצפיות המאושרות שלכם. שדות אלה הם תבנית עבודה, לא תוצאות שנצפו.
| שדה | מידע לרישום |
|---|---|
| מקרה ומקטע | מזהה יציב, שפה, סוג משימה |
| צפוי | קריטריון קבלה וראיות ייחוס |
| גרסאות A / B | תוצאה, חזרה, סיבת כשל |
| החלטה | קבלה, תיקון או עצירה; בעלים וראיות |
דוגמה בדיונית
סיטואציה להמחשה
דוגמה בדיונית: הנתונים אינם מתארים לקוח או תוצאה שנצפתה. מסווג משפר את הציון הכולל, אך מזהה פחות טוב פניות שדורשות טיפול דחוף.
החלטה וראיות צפויות
הריצו שוב את אותם מקרים, שמרו תוצאות לפי סוג פנייה ובדקו טעויות קריטיות לפי הגדרה משותפת. החליטו לפי חומרה, היקף ויכולת תיקון. הממוצע הטוב ביותר אינו בהכרח הבחירה הטובה ביותר לשירות.
הבחנה בין המנגנונים
| מנגנון | מטרה | אימות או הגבלה |
|---|---|---|
| קבוצה יציבה | השוואת גרסאות | הימנעות מאופטימיזציה |
| מקרים חדשים | מציאת נקודות מתות | דיווח בנפרד מתוצאות היסטוריות |
| תצפית בשירות | הבנת השימוש בפועל | כיבוד הרשאות, מזעור והקשר |
מדדי ניהול
| מדד | מה הוא מודד | פעולה ראשונה |
|---|---|---|
| הפסדים מזווגים | מקרים שהתקבלו בעבר נכשלים כעת | בדיקת כל הפסד רגיש |
| אי הסכמה בנוגע לביאורים | מקרים עם שיפוטים שונים | הבהרת הרובריקה לפני ההשוואה |
| כיסוי מקטעים | מצבים המיוצגים בפועל | מתן שם לשימושים שלא נבדקו |
טעויות נפוצות
- אופטימיזציה במבחן הסופי
- שינוי קבוצה וגרסה יחד
- התייחסות לשופט אוטומטי כאמת
- קבלת הפסדים קריטיים מכיוון שהממוצע משתפר
שאלות נפוצות
האם נדרש שופט אוטומטי?
לא. ניתן לזרז את תהליך הטריאז' אם הרובריקה שלו מאומתת; מקרים מעורפלים או יקרים עדיין דורשים שיפוט עסקי.
האם שיפור ממוצע מספיק?
לא. יש להשוות מקרים ופלחי שוק רלוונטיים, ולאחר מכן להחיל את הקריטריונים שנקבעו לפני הבדיקה.
כמה מקרים נדרשים?
הנפח תלוי בגיוון ובסיכון. ספירת דוחות, מקור ומגבלות; קבוצה קטנה אינה קובעת בטיחות כללית.
RAG: הרשאות, ציטוטים ומטמון
הערות המקורות המפורטות זמינות באנגלית במהדורה זו.
Replay rights after every RAG-chain change
Changing a lexical engine, fusion, cache or citation resolver may reopen a secondary path. Freeze a fictional document set with expected outcomes before comparing versions.
- Version policy, index, connector, model and cases.
- Exercise initial, revoked-group and deleted-object states.
- Examine every difference without hiding a critical failure in an average.
Explore the RAG access matrix and replay cases →
References consulted on · OWASP · LLM08:2025 Vector and Embedding Weaknesses OWASP · API1:2023 Broken Object Level Authorization
בינה מלאכותית: בדיקת תוצאת JSON
הערות המקורות המפורטות זמינות באנגלית במהדורה זו.
Test refused and undecidable outputs too
A model, prompt or validator update can change handling of duplicates, types and dates. Acceptance checks need to cover these decisions beyond the number of parseable JSON responses.
- Version the schema, validator settings and reference cases.
- Check that well-formed but false values remain blocked.
- Keep syntax, contract, date and evidence errors separate.
Compare the 14 outputs and their reasons →
Sources reviewed on · IETF · RFC 8259 · JSON Schema · Object reference · JSON Schema · Draft 2020-12 validation · Python 3.12 · json decoder · python-jsonschema · Schema validation · OWASP · LLM05:2025 Improper Output Handling
RAG: רלוונטיות ודירוג
הערות המקורות המפורטות זמינות באנגלית במהדורה זו.
Compare retrieval before evaluating the answer
Keep the same needs, judgments and depth k when comparing configurations. Inspect regressing queries before drawing conclusions from an average.
- Separate window precision, relevant-record coverage and ordering quality.
- Document missing judgments and the no-relevant-record convention.
- Then evaluate the answer, citations and refusals using a separate protocol.
Explore ranking measures and relevance judgments →
Stanford CS276 · Retrieval evaluation · 2019 course archive · PDF pp. 3, 5–6 · consulted 2026-10-23
NIST TREC · Reciprocal rank definition · Repository snapshot 35cf096ba6d5ae08ca4803c056b31ed61a56a6d4 · consulted 2026-10-23
הפניות רשמיות
הפניות תומכות בשיטה. התאימו את הבדיקות להקשר שלכם; הן אינן הסמכה. כותרות הפניות ומסמכי המקור המקוריים עשויים להיות בשפה אחרת.
תאריך בדיקת המקורות .
- NIST — AI Risk Management Framework 1.0, Measure
- NIST — AI RMF Core, Measure
- Dror et al. · ACL 2018 · §3.2.2, paired observations
- OWASP · LLM08:2025 Vector and Embedding Weaknesses
- OWASP · API1:2023 Broken Object Level Authorization
- IETF · RFC 8259
- JSON Schema · Object reference
- JSON Schema · Draft 2020-12 validation
- Python 3.12 · json decoder
- python-jsonschema · Schema validation
- OWASP · LLM05:2025 Improper Output Handling
- Stanford CS276 · Retrieval evaluation
- NIST TREC · Reciprocal rank definition
