Recursos · 03
Governança de agentes de IA: um guia de prontidão para produção
Definir permissões, dados, testes, supervisão e desligamento antes que um agente seja considerado confiável para um processo de negócios.
Atualizado · 3 min
O que este guia ajuda a alcançar
- Limitar o agente ao que ele precisa.
- Testar falhas dispendiosas antes da produção.
- Manter rastros úteis sem coletar em excesso.
- Manter uma responsabilidade humana eficaz.
Verificação rápida
- O agente pode acionar uma ação irreversível?
- Os dados enviados são autorizados?
- Um limite requer aprovação humana?
- As ferramentas têm permissões mínimas?
- O sistema consegue parar e reverter rapidamente?
Método passo a passo
- 1
Descrever o sistema em si.
Documentar a finalidade, os usuários, as entradas, os modelos, as ferramentas, as saídas, as dependências e as pessoas afetadas.
Entregável: ficha do sistema versionada.
- 2
Classificar ações e dados.
Separar leitura, recomendação, redação e execução. Identificar dados proibidos, sensíveis, pessoais e retidos.
Entregável: matriz de dados × ação.
- 3
Reduzir permissões.
Utilizar contas dedicadas, listas de permissões de ferramentas, ambientes isolados e aprovação antes de ações de alto impacto.
Entregável: política de autorização.
- 4
Criar avaliações.
Testar casos normais, ambiguidade, injeção, dados ausentes, solicitações fora do escopo e erros irreversíveis. Definir limites antes do piloto.
Entregável: conjunto de testes e resultados.
- 5
Monitorar a produção
Registrar a versão do sistema, o contexto necessário, as chamadas de ferramentas, as aprovações e os resultados, minimizando a retenção de dados.
Entregável: painel de monitoramento e alertas.
- 6
Preparar-se para falhas
Definir critérios de desligamento, retomada manual, notificação, análise de incidentes e retorno ao serviço.
Entregável: manual de incidentes com IA.
Exemplo prático fictício
Situação ilustrativa
Um agente pode ler as solicitações do cliente e redigir uma resposta, mas não pode enviar uma mensagem ou alterar uma conta sem aprovação. Os testes incluem um documento de origem que tenta redirecionar suas instruções.
Decisão e evidências esperadas
O registro define as ferramentas permitidas, os dados visíveis, os limites de escalonamento, os registros necessários e o ponto em que um humano assume o controle.
Indicadores de gestão
| Indicador | O que mede | Primeira ação |
|---|---|---|
| Taxa de sucesso útil | Tarefas corretas em relação a um critério de negócios, não apenas respostas plausíveis | Revisar falhas por família de casos |
| Escalonamento humano | Casos corretamente encaminhados para uma pessoa | Ajustar limites quando o agente estiver confiante demais |
| Ações canceladas | Ações bloqueadas ou recuperadas antes do impacto | Encontrar permissões excessivas e cenários não testados |
| Desvio | Diferença de desempenho por versão, dados ou população | Comparar com um conjunto estável a cada alteração |
Erros comuns
- Medir apenas a qualidade da escrita
- Conceder ao agente todos os direitos de um usuário final
- Manter todas as conversas por padrão
- Alterar o modelo ou o prompt sem executar novamente as avaliações
Perguntas frequentes
Qual a diferença entre um agente de IA e um chatbot?
Um agente planeja ou encadeia ações e pode acionar ferramentas. Esse poder exige permissões, aprovações, rastreamento e controles de desligamento mais rigorosos.
A aprovação humana é sempre necessária?
Isso é mais importante quando uma ação é irreversível, sensível, regulamentada, financeira ou difícil de detectar posteriormente. O nível deve seguir o risco.
O que deve ser registrado?
Versão do sistema, contexto estritamente necessário, chamadas de ferramentas, aprovações, resultado e erros, com um período de retenção justificado.
Referências oficiais
As referências apoiam o método. Adapte as verificações ao seu contexto; elas não são uma certificação. Os títulos das referências originais e os documentos de origem podem estar em outro idioma.
