משאבים · 03
ניהול סוכן בינה מלאכותית: מדריך מוכנות לייצור.
הרשאות מסגור, נתונים, בדיקות, פיקוח וסגירה לפני שסוכן מקבל אמון בתהליך עסקי.
מעודכן · 4 min
מה מדריך זה עוזר להשיג
- הגבלת הסוכן למה שהוא צריך.
- בדיקת כשלים יקרים לפני הייצור.
- שמירה על עקבות שימושיים ללא איסוף יתר.
- שמירה על אחריות אנושית יעילה.
בדיקה מהירה
- האם הסוכן יכול להפעיל פעולה בלתי הפיכה?
- האם הנתונים שהוגשו מאושרים?
- האם סף דורש אישור אנושי?
- האם לכלים יש הרשאות מינימליות?
- האם המערכת יכולה לעצור ולחזור למצב קודם במהירות?
שיטה שלב אחר שלב
- 1
תיאור המערכת בפועל
תיעוד מטרה, משתמשים, קלטים, מודלים, כלים, פלטים, תלויות ואנשים מושפעים.
תוצר: כרטיס מערכת עם גרסאות.
- 2
סיווג פעולות ונתונים
הפרדת קריאה, המלצה, ניסוח וביצוע. זיהוי נתונים אסורים, רגישים, אישיים ושמורים.
תוצר: נתונים × מטריצת פעולה.
- 3
צמצום הרשאות
שימוש בחשבונות ייעודיים, רשימות היתרים לכלי עבודה, סביבות מבודדות ואישור לפני פעולה בעלת השפעה גבוהה.
תוצר: מדיניות הרשאות.
- 4
בניית הערכות
בדיקת מקרים רגילים, עמימות, הזרקה, נתונים חסרים, בקשות מחוץ לתחום ושגיאות בלתי הפיכות. קביעת ספים לפני הפיילוט.
תוצר: מערך בדיקות ותוצאות.
- 5
ניטור ייצור
רישום גרסת מערכת, הקשר נחוץ, קריאות לכלי, אישורים ותוצאות תוך מזעור נתונים שנשמרו.
תוצר: ניטור לוח מחוונים והתראות.
- 6
הכנה לכשל
הגדרת קריטריונים של כיבוי, השתלטות ידנית, הודעה, ניתוח אירועים וחזרה לשירות.
תוצר: ריצת אירועי בינה מלאכותית.
מהצעה לביצוע: היכן בודקים הרשאות?
סוכן יכול להכין בקשה בלי הרשאה לבצע אותה. השירות המבצע חייב לבדוק זהות, משאב ופרמטרים בפועל; טענה של המודל שיש אישור אינה הוכחה.
תרגיל בדיוני: מדיניות פנימית דורשת אישור לשליחת תשובה ללקוח. המקרים ממחישים מדיניות זו ואינם בודקים או מסמיכים את המערכת שלכם.
- נתונים שהתקבלו
מסמך מספק הקשר, בלי להעניק הרשאות חדשות.
- פעולה מוצעת
הסוכן מכין כלי, יעד ופרמטרים לבדיקה.
- בדיקה עצמאית
השירות המבצע בודק הרשאות ואישור הקשור לפעולה המדויקת.
- תוצאה שנצפתה
רשומה מקשרת בקשה ייחודית לתוצאה בפועל, כולל כישלון.
ארבעה מקרים לתרגול
הנמען השתנה
בתצוגה המאושרת הופיעה כתובת פנימית; בקריאה הסופית כתובת חיצונית.
החלטה צפויה
לעצור את השליחה ולבדוק את היעד החדש.
ראיה לחיפוש
להשוות נמען, תוכן וקבצים מצורפים בתצוגה ובקריאה.
סביבת הלקוח הלא נכונה
החשבון רשאי לקרוא תיק A, אך הסוכן מבקש קובץ מתיק B.
החלטה צפויה
לסרב לגישה ל־B גם אם המודל טוען שהיא נדרשת.
ראיה לחיפוש
לבדוק את המשאב המדויק באמצעות זהות המשתמש.
האישור פג
הפעולה תואמת לתצוגה, אך תוקף האישור פג לפני הביצוע.
החלטה צפויה
לקבל אישור חדש ולבדוק שוב את ההרשאות הנוכחיות.
ראיה לחיפוש
לשמור מועד תפוגה, זהות המאשר ופרמטרים שאושרו.
תם זמן ההמתנה
בקשת השליחה לא השיבה ולא ידוע אם הושלמה.
החלטה צפויה
לבדוק את מצב הפעולה לפני ניסיון נוסף.
ראיה לחיפוש
לקשור מפתח אידמפוטנטיות לאותו תוכן ולהשוות לאישור הקבלה מהשירות.
מקורות : OWASP · LLM06:2025 Excessive Agency · OWASP · AI Agent Security Cheat Sheet
דוגמה בדיונית
סיטואציה להמחשה
סוכן רשאי לקרוא בקשות לקוחות ולנסח תשובה, אך אינו רשאי לשלוח הודעה או לשנות חשבון ללא אישור. הבדיקות כוללות מסמך מקור שמנסה לנתב מחדש את הוראותיו.
החלטה וראיות צפויות
הרישום מגדיר כלים מותרים, נתונים גלויים, ספי הסלמה, יומני רישום נחוצים והנקודה שבה אדם משתלט.
מדדי ניהול
| מדד | מה הוא מודד | פעולה ראשונה |
|---|---|---|
| שיעור הצלחה שימושי | משימות נכונות מול קריטריון עסקי, לא רק תשובות סבירות | סקירת כשלים לפי משפחת מקרים |
| הסלמה אנושית | מקרים שהועברו כהלכה לאדם | כוונון ספים כאשר הסוכן בטוח מדי |
| פעולות שבוטלו | פעולות שנחסמו או שוחזרו לפני ההשפעה | מציאת הרשאות עודפות ותרחישים שלא נבדקו |
| סחיפה | הבדל ביצועים לפי גרסה, נתונים או אוכלוסייה | השוואה מול קבוצה יציבה בכל שינוי |
טעויות נפוצות
- מדידת איכות כתיבה בלבד
- מתן זכויות מלאות לסוכן של משתמש קצה
- שמירה על כל שיחה כברירת מחדל
- שינוי מודל או בקשה מבלי להפעיל מחדש הערכות
שאלות נפוצות
במה שונה סוכן בינה מלאכותית מצ'אטבוט?
סוכן מתכנן או משרשר פעולות ועשוי לקרוא לכלים. כוח זה דורש הרשאות, אישורים, מעקבים ובקרות כיבוי מחמירות יותר.
האם תמיד נדרש אישור אנושי?
זה חשוב ביותר כאשר פעולה בלתי הפיכה, רגישה, מוסדרת, פיננסית או קשה לגילוי לאחר מכן. הרמה צריכה לעמוד ברמת הסיכון.
מה יש לרשום?
גרסת מערכת, הקשר הכרחי לחלוטין, קריאות לכלי, אישורים, תוצאה ושגיאות, עם תקופת שמירה מוצדקת.
מקורות: נתונים, שימושים ומגבלות
מועד בדיקת התיעוד .
הערות המקורות המפורטות זמינות באנגלית במהדורה זו.
| מקור ומטרה | נתון או מדד מאומת | כיצד להשתמש | מגבלה שיש לשמר |
|---|---|---|---|
| MITRE ATLAS Examine documented tactics, techniques and cases involving AI systems. |
The official repository publishes ATLAS tactics, techniques and case-study data. They support analysis of the actual deployed system. | Select scenarios matching your application’s data, interfaces and tools. Test permissions and consequences, not only model responses. | A technique catalogue is neither an exhaustive coverage guarantee nor a test result for your system. |
| NIST · AI Risk Management Framework Organise management of AI-related risks. |
The AI RMF Core is organised around Govern, Map, Measure and Manage. It is a voluntary risk-management framework. | Define intended use, affected people and error consequences. Connect each risk to an evaluation, owner and stop or recovery mechanism. | The framework certifies neither a model nor an application. Using it does not remove the need to examine applicable requirements. |
| OWASP · LLM Top 10 Prepare tests for language-model application risks. |
The 2025 edition includes Prompt Injection, Sensitive Information Disclosure and Excessive Agency. | Turn a risk into an observable scenario: hostile document, restricted data or out-of-scope tool. Record expected behaviour and evidence of refusal. | A risk list is not a complete assessment. Input filtering alone does not establish authorisation for every action. |
RAG: הרשאות, ציטוטים ומטמון
הערות המקורות המפורטות זמינות באנגלית במהדורה זו.
Describe the authority of every agent tool
A tool’s authority depends on identity, objects and permitted operations. A document source, including an internal one, cannot expand that scope. The agent should accomplish the legitimate task with limited rights.
- Build an identity, object and operation matrix.
- Verify connector denials and absence of effects.
- Replay positive controls after each restriction.
Explore the RAG access matrix and replay cases →
References consulted on · OWASP · LLM06:2025 Excessive Agency OWASP · API1:2023 Broken Object Level Authorization NIST AI 100-2 E2025 · Adversarial Machine Learning
OAuth/OIDC: קהל והרשאות
הערות המקורות המפורטות זמינות באנגלית במהדורה זו.
An AI agent retains each tool’s authorisation boundaries
A model instruction does not create a grant. For every tool, identify the calling client, resource server, audience and object policy.
- Restrict permissions to the operation and recipient needed for the use case.
- Do not forward one tool’s token to another API merely for convenience.
- Test that an agent cannot read another tenant’s objects despite having a read scope.
See token recipients and the ten OAuth/OIDC cases →
Sources reviewed on · IETF · RFC 9700 · OAuth 2.0 Security BCP · IETF · RFC 9068 · JWT access token profile · OpenID Foundation · OpenID Connect Core 1.0 · IETF · RFC 8725 · JWT Best Current Practices · IETF · RFC 6749 · OAuth 2.0 framework
SSRF: כתובות וחיבורים
הערות המקורות המפורטות זמינות באנגלית במהדורה זו.
An AI agent tool keeps bounded network access
Text produced by a model, retrieved document or search result must not expand an allowed tool destination. Defining the connector by operation and service makes the agent’s actual network reach controllable.
- Reconstruct requests from business identifiers when the service is known.
- Enforce resolution, connection, proxy and each redirect at the egress component.
- Keep a traceable decision and response limits, including after retry or fallback.
Read the 12 cases and connection controls →
Sources reviewed on · OWASP · SSRF Prevention Cheat Sheet · WHATWG · URL Living Standard · AWS EC2 · Instance metadata options · IETF · RFC 3849
הפניות רשמיות
הפניות תומכות בשיטה. התאימו את הבדיקות להקשר שלכם; הן אינן הסמכה. כותרות הפניות ומסמכי המקור המקוריים עשויים להיות בשפה אחרת.
תאריך בדיקת המקורות .
- NIST — AI Risk Management Framework
- NIST — Generative AI Profile
- OWASP · LLM06:2025 Excessive Agency
- OWASP · AI Agent Security Cheat Sheet
- MITRE ATLAS
- OWASP · LLM Top 10
- OWASP · API1:2023 Broken Object Level Authorization
- NIST AI 100-2 E2025 · Adversarial Machine Learning
- IETF · RFC 9700 · OAuth 2.0 Security BCP
- IETF · RFC 9068 · JWT access token profile
- OpenID Foundation · OpenID Connect Core 1.0
- IETF · RFC 8725 · JWT Best Current Practices
- IETF · RFC 6749 · OAuth 2.0 framework
- OWASP · SSRF Prevention Cheat Sheet
- WHATWG · URL Living Standard
- AWS EC2 · Instance metadata options
- IETF · RFC 3849
