משאבים · 44
הזרקת הנחיות (Prompt injection): בדיקת גבולות האמון של סוכן בינה מלאכותית
בדיקה שמסמך, תוצאת חיפוש או הודעה אינם יכולים לאשר פעולה מטעם המשתמש.
מעודכן · 3 min
מה מדריך זה עוזר להשיג
- הפרדת נתונים מהוראות.
- הגבלת פעולות זמינות למשימה.
- בדיקת השפעות אמיתיות מאחורי תגובות.
- מגבלות ורגרסיות של מסמכים.
בדיקה מהירה
- איזה תוכן חיצוני קורא הסוכן?
- אילו פעולות הוא יכול להפעיל ללא אישור?
- האם נאכפת הרשאה מחוץ למודל?
- האם סירוב מילולי מונע בפועל קריאה לכלי?
- כיצד ניתן לעצור תרחיש סוטה?
שיטה שלב אחר שלב
- 1
רשימת מלאי של הגבולות.
רשימת הודעות, דפי אינטרנט, מסמכים, תוצאות חיפוש, קבצים מצורפים ופלט של כלים. התייחסו אליהם כנתונים לפירוש ללא סמכות על הרשאות. כללו ערוצים הנושאים טקסט או תוכן רב-מודאלי.
תוצר: מפת קלטים ופעולות זמינות.
- 2
הגדרת השפעות אסורות.
תיאור נזקים למניעה: גישה מחוץ לתחום, פרסום לא מאושר, העברת נתונים או שינויי חשבון. הגדרת תוצאה נצפית לכל תרחיש; שיפוט של טקסט התשובה בלבד יכול לפספס פעולה שכבר בוצעה.
תוצר: תרחישי איום וקבועים.
- 3
בידוד סביבת הבדיקה.
שימוש בחשבונות, מסמכים ויעדים פיקטיביים המסומנים בבירור עם סמני בדיקה וכלים מדומים. השבתת גישת שליחה וייצור אמיתית. שמירה על גרסאות מודל, תצורה, קורפוס ומחבר כדי להפעיל מחדש מקרים.
תוצר: סביבה עם גרסאות וערכת בדיקה.
- 4
הפעלה מחדש של קלטים עוינים.
הצבת הוראה במקור בדיקה שסותרת את המשימה, מבקשת פעולה מחוץ לתחום או טוענת לסמכות כוזבת. שינוי שפה, מיקום, פורמט ושילובי מקור. מדידת קריאה לכלי, ארגומנטים והשפעה בפועל.
תוצר: עקבות של מקרים מוצלחים, חסומים ולא פתורים.
- 5
חיזוק בקרות חיצוניות.
אכיפת הרשאות מינימליות, אימות ארגומנטים, הפרדת קריאה/כתיבה ויעדים מותרים בכלים. דרישה לאישור הקשרי עבור פעולות רגישות. RAG והוראת סירוב בלבד אינם מסירים את סיכון ההזרקה.
תוצר: כללים ניתנים לביצוע ובדיקות עקיפה.
- 6
מעקב אחר שינויים.
הפעלה חוזרת של מקרים לאחר שינויים במודל, בקורפוס, בכלים או בכללים. כמו כן מעקב אחר משימות לגיטימיות שנחסמות. פרסום היקף שנבדק ומגבלות ידועות; הצלחה על מערך בדיקות קטן אינה קובעת היעדרות של פגיעויות.
תוצר: דוח רגרסיה והחלטת פריסה.
דוגמה בדיונית
סיטואציה להמחשה
סיטואציה לדוגמה: עוזר מסכם מסמך בדיקה המבקש לשלוח מידע ליעד חיצוני.
החלטה וראיות צפויות
הכלי דוחה יעד זה ללא קשר לטקסט שנוצר. הבדיקה בודקת ששום דבר לא נשלח והסיכום הלגיטימי עדיין פועל.
הבחנה בין המנגנונים
| מנגנון | מטרה | אימות או הגבלה |
|---|---|---|
| מסנן קלט | זיהוי דפוסים חשודים | ייתכן שחסר ניסוח חדש |
| הוראת מודל | תיאור הגבול הצפוי | אינו בקרת גישה |
| אכיפת כלים | דחיית פעולה לא מורשית | חובה לבדוק זהות, אובייקט וארגומנטים |
מדדי ניהול
| מדד | מה הוא מודד | פעולה ראשונה |
|---|---|---|
| פעולות אסורות | מקרים הגורמים להשפעות מחוץ לתחום | חסימה וחקירה של כל השפעה |
| סירובים כוזבים | משימות לגיטימיות נמנעו | תיקון ללא הרחבת הרשאות |
| כיסוי | ערוצים וכלים שנבדקו בפועל | הכרזה על נקודות מתות |
טעויות נפוצות
- הכנסת סודות להנחיות בדיקה
- בדיקת תשובות גלויות בלבד
- בהנחה שמסמכים פנימיים תמיד מהימנים
- טענת הגנה מוחלטת לאחר מספר בדיקות
שאלות נפוצות
האם RAG מונע הזרקה?
לא. מסמכים שאוחזרו יכולים בעצמם לשאת הוראות עוינות. מקורות נשארים נתונים לעיבוד בגבולות מבוקרים.
האם יש לחסום כל מסמך חשוד?
זה תלוי במשימה; סוכן יכול לעתים קרובות לנתח מסמך מבלי לפעול לפי הוראותיו או שיהיו לו כלי כתיבה.
כיצד יש לפרסם תוצאות?
ציין גרסאות, היקף, אפקטים שנבדקו, מגבלות ותיקונים. לא לכלול סודות ומסמכי לקוח ששימשו בעבודה.
אילו ראיות לשמור לבדיקה מועילה?
שמרו מקור לא מהימן, גרסאות ומצב סופי. בדקו מעבר לטקסט התשובה שהכלי לא יצר השפעה אסורה.
RAG: הרשאות, ציטוטים ומטמון
הערות המקורות המפורטות זמינות באנגלית במהדורה זו.
A hostile source cannot grant a permission
Text read by an agent may try to change the task; it must not change document-service permissions. Replay the same object with an authorised group, another group and a revoked group.
- Compare the access decision with the actual effect even when the answer sounds correct.
- Pass the test document through retrieval, citation and cache.
- Keep a positive control to distinguish protection from blanket denial.
Explore the RAG access matrix and replay cases →
References consulted on · OWASP · LLM01:2025 Prompt Injection OWASP · LLM06:2025 Excessive Agency NIST AI 100-2 E2025 · Adversarial Machine Learning
הפניות רשמיות
הפניות תומכות בשיטה. התאימו את הבדיקות להקשר שלכם; הן אינן הסמכה. כותרות הפניות ומסמכי המקור המקוריים עשויים להיות בשפה אחרת.
