Recursos · 03
Governança de agentes de IA: um guia de prontidão para produção
Definir permissões, dados, testes, supervisão e desligamento antes que um agente seja considerado confiável para um processo de negócios.
Atualizado · 5 min
O que este guia ajuda a alcançar
- Limitar o agente ao que ele precisa.
- Testar falhas dispendiosas antes da produção.
- Manter rastros úteis sem coletar em excesso.
- Manter uma responsabilidade humana eficaz.
Verificação rápida
- O agente pode acionar uma ação irreversível?
- Os dados enviados são autorizados?
- Um limite requer aprovação humana?
- As ferramentas têm permissões mínimas?
- O sistema consegue parar e reverter rapidamente?
Método passo a passo
- 1
Descrever o sistema em si.
Documentar a finalidade, os usuários, as entradas, os modelos, as ferramentas, as saídas, as dependências e as pessoas afetadas.
Entregável: ficha do sistema versionada.
- 2
Classificar ações e dados.
Separar leitura, recomendação, redação e execução. Identificar dados proibidos, sensíveis, pessoais e retidos.
Entregável: matriz de dados × ação.
- 3
Reduzir permissões.
Utilizar contas dedicadas, listas de permissões de ferramentas, ambientes isolados e aprovação antes de ações de alto impacto.
Entregável: política de autorização.
- 4
Criar avaliações.
Testar casos normais, ambiguidade, injeção, dados ausentes, solicitações fora do escopo e erros irreversíveis. Definir limites antes do piloto.
Entregável: conjunto de testes e resultados.
- 5
Monitorar a produção
Registrar a versão do sistema, o contexto necessário, as chamadas de ferramentas, as aprovações e os resultados, minimizando a retenção de dados.
Entregável: painel de monitoramento e alertas.
- 6
Preparar-se para falhas
Definir critérios de desligamento, retomada manual, notificação, análise de incidentes e retorno ao serviço.
Entregável: manual de incidentes com IA.
Da proposta à ação: onde verificar as permissões?
Um agente pode preparar um pedido sem permissão para o executar. O serviço executor deve verificar identidade, recurso e parâmetros reais; uma afirmação do modelo não comprova aprovação.
Exercício fictício: uma política interna exige aprovação para enviar respostas a clientes. Os casos ilustram essa política; não verificam nem certificam o seu sistema.
- Dados recebidos
Um documento fornece contexto, sem conceder novas permissões.
- Ação proposta
O agente prepara ferramenta, destino e parâmetros para análise.
- Controlo independente
O serviço executor verifica permissões e aprovação ligada à ação exata.
- Resultado observado
Um registo liga o pedido único ao resultado real, incluindo falhas.
Quatro casos para ensaiar
O destinatário mudou
A pré-visualização aprovada indicava um endereço interno; a chamada final indica um externo.
Decisão esperada
Suspender o envio e rever o novo destino.
Evidência a procurar
Comparar destinatário, conteúdo e anexos da pré-visualização e da chamada.
O espaço de cliente errado
A conta pode ler o processo A; o agente pede um ficheiro do B.
Decisão esperada
Recusar acesso a B mesmo que o modelo o considere necessário.
Evidência a procurar
Testar a autorização no recurso exato com a identidade do utilizador.
A aprovação expirou
A ação corresponde à pré-visualização, mas a aprovação expirou antes da execução.
Decisão esperada
Obter nova aprovação e verificar as permissões atuais.
Evidência a procurar
Guardar validade, identidade do aprovador e parâmetros aprovados.
O pedido excedeu o tempo
O envio não responde; desconhece-se se foi concluído.
Decisão esperada
Verificar o estado antes de repetir.
Evidência a procurar
Ligar a chave de idempotência ao mesmo conteúdo e conferir o recibo do serviço.
Referências : OWASP · LLM06:2025 Excessive Agency · OWASP · AI Agent Security Cheat Sheet
Exemplo prático fictício
Situação ilustrativa
Um agente pode ler as solicitações do cliente e redigir uma resposta, mas não pode enviar uma mensagem ou alterar uma conta sem aprovação. Os testes incluem um documento de origem que tenta redirecionar suas instruções.
Decisão e evidências esperadas
O registro define as ferramentas permitidas, os dados visíveis, os limites de escalonamento, os registros necessários e o ponto em que um humano assume o controle.
Indicadores de gestão
| Indicador | O que mede | Primeira ação |
|---|---|---|
| Taxa de sucesso útil | Tarefas corretas em relação a um critério de negócios, não apenas respostas plausíveis | Revisar falhas por família de casos |
| Escalonamento humano | Casos corretamente encaminhados para uma pessoa | Ajustar limites quando o agente estiver confiante demais |
| Ações canceladas | Ações bloqueadas ou recuperadas antes do impacto | Encontrar permissões excessivas e cenários não testados |
| Desvio | Diferença de desempenho por versão, dados ou população | Comparar com um conjunto estável a cada alteração |
Erros comuns
- Medir apenas a qualidade da escrita
- Conceder ao agente todos os direitos de um usuário final
- Manter todas as conversas por padrão
- Alterar o modelo ou o prompt sem executar novamente as avaliações
Perguntas frequentes
Qual a diferença entre um agente de IA e um chatbot?
Um agente planeja ou encadeia ações e pode acionar ferramentas. Esse poder exige permissões, aprovações, rastreamento e controles de desligamento mais rigorosos.
A aprovação humana é sempre necessária?
Isso é mais importante quando uma ação é irreversível, sensível, regulamentada, financeira ou difícil de detectar posteriormente. O nível deve seguir o risco.
O que deve ser registrado?
Versão do sistema, contexto estritamente necessário, chamadas de ferramentas, aprovações, resultado e erros, com um período de retenção justificado.
Referências: dados, usos e limites
Documentação consultada em .
As notas detalhadas desta edição estão disponíveis em inglês.
| Fonte e finalidade | Dado ou referência verificada | Como utilizar | Limite a preservar |
|---|---|---|---|
| MITRE ATLAS Examine documented tactics, techniques and cases involving AI systems. |
The official repository publishes ATLAS tactics, techniques and case-study data. They support analysis of the actual deployed system. | Select scenarios matching your application’s data, interfaces and tools. Test permissions and consequences, not only model responses. | A technique catalogue is neither an exhaustive coverage guarantee nor a test result for your system. |
| NIST · AI Risk Management Framework Organise management of AI-related risks. |
The AI RMF Core is organised around Govern, Map, Measure and Manage. It is a voluntary risk-management framework. | Define intended use, affected people and error consequences. Connect each risk to an evaluation, owner and stop or recovery mechanism. | The framework certifies neither a model nor an application. Using it does not remove the need to examine applicable requirements. |
| OWASP · LLM Top 10 Prepare tests for language-model application risks. |
The 2025 edition includes Prompt Injection, Sensitive Information Disclosure and Excessive Agency. | Turn a risk into an observable scenario: hostile document, restricted data or out-of-scope tool. Record expected behaviour and evidence of refusal. | A risk list is not a complete assessment. Input filtering alone does not establish authorisation for every action. |
RAG: permissões, citações e caches
As notas detalhadas desta edição estão disponíveis em inglês.
Describe the authority of every agent tool
A tool’s authority depends on identity, objects and permitted operations. A document source, including an internal one, cannot expand that scope. The agent should accomplish the legitimate task with limited rights.
- Build an identity, object and operation matrix.
- Verify connector denials and absence of effects.
- Replay positive controls after each restriction.
Explore the RAG access matrix and replay cases →
References consulted on · OWASP · LLM06:2025 Excessive Agency OWASP · API1:2023 Broken Object Level Authorization NIST AI 100-2 E2025 · Adversarial Machine Learning
OAuth/OIDC: público e acesso
As notas detalhadas desta edição estão disponíveis em inglês.
An AI agent retains each tool’s authorisation boundaries
A model instruction does not create a grant. For every tool, identify the calling client, resource server, audience and object policy.
- Restrict permissions to the operation and recipient needed for the use case.
- Do not forward one tool’s token to another API merely for convenience.
- Test that an agent cannot read another tenant’s objects despite having a read scope.
See token recipients and the ten OAuth/OIDC cases →
Sources reviewed on · IETF · RFC 9700 · OAuth 2.0 Security BCP · IETF · RFC 9068 · JWT access token profile · OpenID Foundation · OpenID Connect Core 1.0 · IETF · RFC 8725 · JWT Best Current Practices · IETF · RFC 6749 · OAuth 2.0 framework
SSRF: URLs e conexões
As notas detalhadas desta edição estão disponíveis em inglês.
An AI agent tool keeps bounded network access
Text produced by a model, retrieved document or search result must not expand an allowed tool destination. Defining the connector by operation and service makes the agent’s actual network reach controllable.
- Reconstruct requests from business identifiers when the service is known.
- Enforce resolution, connection, proxy and each redirect at the egress component.
- Keep a traceable decision and response limits, including after retry or fallback.
Read the 12 cases and connection controls →
Sources reviewed on · OWASP · SSRF Prevention Cheat Sheet · WHATWG · URL Living Standard · AWS EC2 · Instance metadata options · IETF · RFC 3849
Referências oficiais
As referências apoiam o método. Adapte as verificações ao seu contexto; elas não são uma certificação. Os títulos das referências originais e os documentos de origem podem estar em outro idioma.
Referências consultadas em .
- NIST — AI Risk Management Framework
- NIST — Generative AI Profile
- OWASP · LLM06:2025 Excessive Agency
- OWASP · AI Agent Security Cheat Sheet
- MITRE ATLAS
- OWASP · LLM Top 10
- OWASP · API1:2023 Broken Object Level Authorization
- NIST AI 100-2 E2025 · Adversarial Machine Learning
- IETF · RFC 9700 · OAuth 2.0 Security BCP
- IETF · RFC 9068 · JWT access token profile
- OpenID Foundation · OpenID Connect Core 1.0
- IETF · RFC 8725 · JWT Best Current Practices
- IETF · RFC 6749 · OAuth 2.0 framework
- OWASP · SSRF Prevention Cheat Sheet
- WHATWG · URL Living Standard
- AWS EC2 · Instance metadata options
- IETF · RFC 3849
