Ресурсы · 03
Управление агентами ИИ: руководство по готовности к производству
. Настройка разрешений, данных, тестов, контроля и завершения работы перед тем, как доверить агенту бизнес-процесс.
Обновлено · 4 min
Чего помогает достичь это руководство
- . Ограничение агента необходимыми ему функциями.
- . Тестирование дорогостоящих сбоев перед запуском в производство.
- . Сохранение полезных трассировок без избыточного сбора данных.
- . Поддержание эффективной подотчетности человека.
Быстрая проверка
- . Может ли агент инициировать необратимое действие?
- . Авторизованы ли предоставленные данные?
- . Требуется ли утверждение человеком порогового значения?
- . Имеют ли инструменты минимальные разрешения?
- Может ли система быстро остановиться и откатиться?
Пошаговый метод
- 1
Описание самой системы
Документирование назначения, пользователей, входных данных, моделей, инструментов, выходных данных, зависимостей и затронутых лиц.
Результат: версионированная карта системы.
- 2
Классификация действий и данных
Разделение чтения, рекомендаций, составления и выполнения. Выявление запрещенных, конфиденциальных, личных и сохраненных данных.
Результат: матрица данных × действий.
- 3
Сокращение разрешений
Использование выделенных учетных записей, списков разрешенных инструментов, изолированных сред и утверждения перед выполнением действий, оказывающих существенное влияние.
Результат: политика авторизации.
- 4
Создание оценок
Тестирование обычных случаев, неоднозначности, внедрения, отсутствующих данных, запросов, выходящих за рамки проекта, и необратимых ошибок. Установка пороговых значений перед пилотным проектом.
Результат: набор тестовых данных и результаты.
- 5
Мониторинг производства.
Ведение журнала: версия системы, необходимый контекст, вызовы инструментов, согласования и результаты при минимизации объема сохраняемых данных.
Результат: панель мониторинга и оповещения.
- 6
Подготовка к сбою.
Определение критериев выключения, ручного переключения, уведомления, анализа инцидентов и возврата в эксплуатацию.
Результат: руководство по действиям в случае инцидента с ИИ.
От предложения к действию: где проверяются права?
Агент может подготовить запрос, не имея права его выполнить. Исполняющий сервис должен проверить реальную личность, ресурс и параметры; заявление модели не доказывает наличие одобрения.
Вымышленное упражнение: внутренняя политика требует одобрения отправки ответа клиенту. Примеры поясняют эту политику, а не проверяют и не сертифицируют вашу систему.
- Полученные данные
Документ даёт контекст, но не новые права.
- Предложенное действие
Агент готовит инструмент, цель и параметры для проверки.
- Независимая проверка
Исполняющий сервис проверяет права и одобрение именно этого действия.
- Установленный результат
Запись связывает уникальный запрос с реальным результатом, включая сбой.
Четыре сценария для проверки
Получатель изменился
В одобренном предпросмотре был внутренний адрес, в итоговом вызове — внешний.
Ожидаемое решение
Приостановить отправку и проверить нового получателя.
Что подтвердить
Сравнить адресата, содержимое и вложения предпросмотра и вызова.
Чужое пространство клиента
Учётная запись может читать дело A, но агент просит файл из B.
Ожидаемое решение
Отказать в доступе к B, даже если модель считает его необходимым.
Что подтвердить
Проверить конкретный ресурс от имени пользователя.
Одобрение истекло
Действие соответствует предпросмотру, но срок одобрения уже истёк.
Ожидаемое решение
Получить новое одобрение и проверить текущие права.
Что подтвердить
Сохранить срок, личность одобрившего и согласованные параметры.
Превышено время ожидания
Отправка не отвечает; неизвестно, завершилась ли она.
Ожидаемое решение
Проверить состояние операции перед повтором.
Что подтвердить
Связать ключ идемпотентности с тем же содержимым и сверить квитанцию сервиса.
Источники : OWASP · LLM06:2025 Excessive Agency · OWASP · AI Agent Security Cheat Sheet
Вымышленный пример
Иллюстративная ситуация
Агент может читать запросы клиентов и составлять ответы, но не может отправлять сообщения или изменять учетные записи без одобрения. Тестирование включает исходный документ, который пытается перенаправить его инструкции.
Решение и ожидаемые доказательства
Реестр определяет разрешенные инструменты, видимые данные, пороги эскалации, необходимые журналы и момент, когда управление переходит к человеку.
Показатели управления
| Показатель | Что он измеряет | Первое действие |
|---|---|---|
| Полезный показатель успешности | Задачи корректно соответствуют бизнес-критериям, а не просто правдоподобным ответам | Анализ ошибок по семействам кейсов |
| Эскалация с участием человека | Кейсы корректно передаются человеку | Настройка пороговых значений, когда агент слишком самоуверен |
| Отмененные действия | Действия заблокированы или восстановлены до момента воздействия | Выявление избыточных разрешений и непроверенных сценариев |
| Дрейф | Разница в производительности в зависимости от версии, данных или популяции | Сравнение со стабильным набором при каждом изменении |
Распространенные ошибки
- Измерение только качества написания
- Предоставление агенту полных прав конечного пользователя
- Сохранение всех разговоров по умолчанию
- Изменение модели или подсказки без повторного запуска оценок
Часто задаваемые вопросы
Чем ИИ-агент отличается от чат-бота?
Агент планирует или выстраивает цепочки действий и может вызывать инструменты. Для такой возможности требуются более строгие разрешения, согласования, отслеживание и контроль завершения работы.
Всегда ли требуется одобрение человека?
Это наиболее важно, когда действие необратимо, конфиденциально, регулируется, носит финансовый характер или его трудно обнаружить впоследствии. Уровень должен соответствовать риску.
Что следует регистрировать?
Версия системы, строго необходимый контекст, вызовы инструментов, согласования, результаты и ошибки, с обоснованным сроком хранения.
Источники: данные, применение и ограничения
Документация проверена .
Подробные справочные заметки в этой версии доступны на английском.
| Источник и назначение | Проверенные данные или ориентир | Как использовать | Сохраняемое ограничение |
|---|---|---|---|
| MITRE ATLAS Examine documented tactics, techniques and cases involving AI systems. |
The official repository publishes ATLAS tactics, techniques and case-study data. They support analysis of the actual deployed system. | Select scenarios matching your application’s data, interfaces and tools. Test permissions and consequences, not only model responses. | A technique catalogue is neither an exhaustive coverage guarantee nor a test result for your system. |
| NIST · AI Risk Management Framework Organise management of AI-related risks. |
The AI RMF Core is organised around Govern, Map, Measure and Manage. It is a voluntary risk-management framework. | Define intended use, affected people and error consequences. Connect each risk to an evaluation, owner and stop or recovery mechanism. | The framework certifies neither a model nor an application. Using it does not remove the need to examine applicable requirements. |
| OWASP · LLM Top 10 Prepare tests for language-model application risks. |
The 2025 edition includes Prompt Injection, Sensitive Information Disclosure and Excessive Agency. | Turn a risk into an observable scenario: hostile document, restricted data or out-of-scope tool. Record expected behaviour and evidence of refusal. | A risk list is not a complete assessment. Input filtering alone does not establish authorisation for every action. |
RAG: права доступа, ссылки и кеши
Подробные справочные заметки в этой версии доступны на английском.
Describe the authority of every agent tool
A tool’s authority depends on identity, objects and permitted operations. A document source, including an internal one, cannot expand that scope. The agent should accomplish the legitimate task with limited rights.
- Build an identity, object and operation matrix.
- Verify connector denials and absence of effects.
- Replay positive controls after each restriction.
Explore the RAG access matrix and replay cases →
References consulted on · OWASP · LLM06:2025 Excessive Agency OWASP · API1:2023 Broken Object Level Authorization NIST AI 100-2 E2025 · Adversarial Machine Learning
OAuth/OIDC: адресат и доступ
Подробные справочные заметки в этой версии доступны на английском.
An AI agent retains each tool’s authorisation boundaries
A model instruction does not create a grant. For every tool, identify the calling client, resource server, audience and object policy.
- Restrict permissions to the operation and recipient needed for the use case.
- Do not forward one tool’s token to another API merely for convenience.
- Test that an agent cannot read another tenant’s objects despite having a read scope.
See token recipients and the ten OAuth/OIDC cases →
Sources reviewed on · IETF · RFC 9700 · OAuth 2.0 Security BCP · IETF · RFC 9068 · JWT access token profile · OpenID Foundation · OpenID Connect Core 1.0 · IETF · RFC 8725 · JWT Best Current Practices · IETF · RFC 6749 · OAuth 2.0 framework
SSRF: URL и соединения
Подробные справочные заметки в этой версии доступны на английском.
An AI agent tool keeps bounded network access
Text produced by a model, retrieved document or search result must not expand an allowed tool destination. Defining the connector by operation and service makes the agent’s actual network reach controllable.
- Reconstruct requests from business identifiers when the service is known.
- Enforce resolution, connection, proxy and each redirect at the egress component.
- Keep a traceable decision and response limits, including after retry or fallback.
Read the 12 cases and connection controls →
Sources reviewed on · OWASP · SSRF Prevention Cheat Sheet · WHATWG · URL Living Standard · AWS EC2 · Instance metadata options · IETF · RFC 3849
Официальные ссылки
Ссылки подтверждают метод. Адаптируйте проверки к вашему контексту; они не являются сертификацией. Оригинальные названия ссылок и исходные документы могут быть на другом языке.
Источники проверены .
- NIST — AI Risk Management Framework
- NIST — Generative AI Profile
- OWASP · LLM06:2025 Excessive Agency
- OWASP · AI Agent Security Cheat Sheet
- MITRE ATLAS
- OWASP · LLM Top 10
- OWASP · API1:2023 Broken Object Level Authorization
- NIST AI 100-2 E2025 · Adversarial Machine Learning
- IETF · RFC 9700 · OAuth 2.0 Security BCP
- IETF · RFC 9068 · JWT access token profile
- OpenID Foundation · OpenID Connect Core 1.0
- IETF · RFC 8725 · JWT Best Current Practices
- IETF · RFC 6749 · OAuth 2.0 framework
- OWASP · SSRF Prevention Cheat Sheet
- WHATWG · URL Living Standard
- AWS EC2 · Instance metadata options
- IETF · RFC 3849
