Recursos · 03
Gobernanza de agentes de IA: una guía de preparación para la producción
Enmarcar permisos, datos, pruebas, supervisión y apagado antes de que se le confíe a un agente un proceso de negocio.
Actualizado · 5 min
Lo que esta guía ayuda a lograr
- Limitar el agente a lo que necesita
- Probar fallos costosos antes de la producción
- Mantener rastros útiles sin sobrecoleccionar
- Mantener la rendición de cuentas humana efectiva
Comprobación rápida
- ¿El agente puede desencadenar una acción irreversible?
- ¿Están autorizados los datos enviados?
- ¿Un umbral requiere aprobación humana?
- ¿Las herramientas tienen permisos mínimos?
- ¿Puede el sistema detenerse y retroceder rápidamente?
Método paso a paso
- 1
Describir el sistema actual
Propósito del documento, usuarios, entradas, modelos, herramientas, salidas, dependencias y personas afectadas.
Entregable: tarjeta de sistema versionada.
- 2
Clasificar acciones y datos
Separar lectura, recomendación, redacción y ejecución. Identificar datos prohibidos, sensibles, personales y retenidos.
Entregable: matriz de datos × acciones.
- 3
Reducir permisos
Utilice cuentas dedicadas, listas de herramientas permitidas, entornos aislados y aprobación antes de acciones de alto impacto.
Entregable: política de autorización.
- 4
Evaluaciones de compilación
Test de casos normales, ambigüedad, inyección, datos faltantes, solicitudes fuera de alcance y errores irreversibles. Establecer umbrales ante el piloto.
Entregable: conjunto de pruebas y resultados.
- 5
Monitorear producción
Registrar la versión del sistema, contexto necesario, llamadas de herramientas, aprobaciones y resultados minimizando los datos retenidos.
Entregable: panel de seguimiento y alertas.
- 6
Prepárate para el fracaso
Definir criterios de parada, toma de control manual, notificación, análisis de incidencias y vuelta al servicio.
Entregable: Runbook de incidentes de IA.
De la propuesta a la acción: ¿dónde se comprueban los permisos?
Un agente puede preparar una solicitud sin permiso para ejecutarla. El servicio ejecutor debe comprobar identidad, recurso y parámetros reales; la afirmación del modelo no demuestra una aprobación.
Taller ficticio: una política interna exige aprobar el envío de respuestas a clientes. Los casos ilustran esa política; no certifican ni comprueban su sistema.
- Datos recibidos
Un documento aporta contexto, sin conceder nuevos permisos.
- Acción propuesta
El agente prepara herramienta, destino y parámetros para revisión.
- Control independiente
El servicio ejecutor verifica permisos y aprobación vinculada a esa acción.
- Resultado observado
Un registro vincula la solicitud única con su resultado real, incluso un fallo.
Cuatro casos para ensayar
Cambió el destinatario
La vista aprobada indicaba una dirección interna; la llamada final usa una externa.
Decisión esperada
Suspender el envío y revisar el nuevo destino.
Evidencia que buscar
Comparar destinatario, contenido y adjuntos de la vista y la llamada final.
Otro espacio de cliente
La cuenta puede leer el expediente A; el agente solicita un archivo del B.
Decisión esperada
Denegar el acceso a B aunque el modelo lo considere necesario.
Evidencia que buscar
Comprobar el recurso exacto con la identidad del usuario.
Aprobación caducada
La acción coincide con la vista, pero el permiso de aprobación ha caducado.
Decisión esperada
Obtener una nueva aprobación y revisar los permisos actuales.
Evidencia que buscar
Conservar caducidad, identidad del aprobador y parámetros aprobados.
Se agotó el tiempo de espera
No llega respuesta del envío; se desconoce si se completó.
Decisión esperada
Comprobar el estado antes de reintentar.
Evidencia que buscar
Vincular la clave de idempotencia al mismo contenido y contrastar el recibo del servicio.
Referencias : OWASP · LLM06:2025 Excessive Agency · OWASP · AI Agent Security Cheat Sheet
Ejemplo trabajado ficticio
Situación ilustrativa
Un agente puede leer las solicitudes de los clientes y redactar una respuesta, pero no puede enviar un mensaje ni cambiar una cuenta sin aprobación. Las pruebas incluyen un documento fuente que intenta redirigir sus instrucciones.
Decisión y pruebas esperadas
El registro define herramientas permitidas, datos visibles, umbrales de escalada, registros necesarios y el punto en el que un humano toma el control.
Indicadores de gestión
| Indicador | Qué mide | Primera acción |
|---|---|---|
| Tasa de éxito útil | Tareas correctas según un criterio empresarial, no solo respuestas plausibles | Revisar fallas por familia de casos |
| Escalada humana | Casos entregados correctamente a una persona | Ajustar umbrales cuando el agente tiene exceso de confianza |
| Acciones canceladas | Acciones bloqueadas o recuperadas antes del impacto | Encuentra permisos excesivos y escenarios no probados |
| Deriva | Diferencia de rendimiento por versión, datos o población | Comparar con un conjunto estable en cada cambio |
Errores comunes
- Medición únicamente de la calidad de escritura
- Otorgar al agente todos los derechos de usuario final
- Reteniendo todas las conversaciones por defecto
- Cambiar modelo o solicitud sin volver a ejecutar evaluaciones
Preguntas frecuentes
¿En qué se diferencia un agente de IA de un chatbot?
Un agente planifica o encadena acciones y puede llamar a herramientas. Ese poder necesita permisos, aprobaciones, rastreos y controles de apagado más estrictos.
¿Se requiere siempre la aprobación humana?
Importa más cuando una acción es irreversible, sensible, regulada, financiera o de difícil detección posterior. El nivel debe seguir el riesgo.
¿Qué se debe registrar?
Versión del sistema, contexto estrictamente necesario, llamadas de herramientas, aprobaciones, resultados y errores, con un periodo de conservación justificado.
Referencias: datos, usos y límites
Documentación consultada el .
Las notas detalladas de esta edición están disponibles en inglés.
| Fuente y finalidad | Dato o referencia verificada | Cómo utilizarla | Límite que debe conservarse |
|---|---|---|---|
| MITRE ATLAS Examine documented tactics, techniques and cases involving AI systems. |
The official repository publishes ATLAS tactics, techniques and case-study data. They support analysis of the actual deployed system. | Select scenarios matching your application’s data, interfaces and tools. Test permissions and consequences, not only model responses. | A technique catalogue is neither an exhaustive coverage guarantee nor a test result for your system. |
| NIST · AI Risk Management Framework Organise management of AI-related risks. |
The AI RMF Core is organised around Govern, Map, Measure and Manage. It is a voluntary risk-management framework. | Define intended use, affected people and error consequences. Connect each risk to an evaluation, owner and stop or recovery mechanism. | The framework certifies neither a model nor an application. Using it does not remove the need to examine applicable requirements. |
| OWASP · LLM Top 10 Prepare tests for language-model application risks. |
The 2025 edition includes Prompt Injection, Sensitive Information Disclosure and Excessive Agency. | Turn a risk into an observable scenario: hostile document, restricted data or out-of-scope tool. Record expected behaviour and evidence of refusal. | A risk list is not a complete assessment. Input filtering alone does not establish authorisation for every action. |
RAG: permisos, citas y cachés
Las notas detalladas de esta edición están disponibles en inglés.
Describe the authority of every agent tool
A tool’s authority depends on identity, objects and permitted operations. A document source, including an internal one, cannot expand that scope. The agent should accomplish the legitimate task with limited rights.
- Build an identity, object and operation matrix.
- Verify connector denials and absence of effects.
- Replay positive controls after each restriction.
Explore the RAG access matrix and replay cases →
References consulted on · OWASP · LLM06:2025 Excessive Agency OWASP · API1:2023 Broken Object Level Authorization NIST AI 100-2 E2025 · Adversarial Machine Learning
OAuth/OIDC: audiencia y acceso
Las notas detalladas de esta edición están disponibles en inglés.
An AI agent retains each tool’s authorisation boundaries
A model instruction does not create a grant. For every tool, identify the calling client, resource server, audience and object policy.
- Restrict permissions to the operation and recipient needed for the use case.
- Do not forward one tool’s token to another API merely for convenience.
- Test that an agent cannot read another tenant’s objects despite having a read scope.
See token recipients and the ten OAuth/OIDC cases →
Sources reviewed on · IETF · RFC 9700 · OAuth 2.0 Security BCP · IETF · RFC 9068 · JWT access token profile · OpenID Foundation · OpenID Connect Core 1.0 · IETF · RFC 8725 · JWT Best Current Practices · IETF · RFC 6749 · OAuth 2.0 framework
SSRF: URL y conexiones
Las notas detalladas de esta edición están disponibles en inglés.
An AI agent tool keeps bounded network access
Text produced by a model, retrieved document or search result must not expand an allowed tool destination. Defining the connector by operation and service makes the agent’s actual network reach controllable.
- Reconstruct requests from business identifiers when the service is known.
- Enforce resolution, connection, proxy and each redirect at the egress component.
- Keep a traceable decision and response limits, including after retry or fallback.
Read the 12 cases and connection controls →
Sources reviewed on · OWASP · SSRF Prevention Cheat Sheet · WHATWG · URL Living Standard · AWS EC2 · Instance metadata options · IETF · RFC 3849
Referencias oficiales
Las referencias respaldan el método. Adapte los controles a su contexto; no constituyen certificación. Los títulos de referencia originales y los documentos fuente pueden estar en otro idioma.
Referencias consultadas el .
- NIST — AI Risk Management Framework
- NIST — Generative AI Profile
- OWASP · LLM06:2025 Excessive Agency
- OWASP · AI Agent Security Cheat Sheet
- MITRE ATLAS
- OWASP · LLM Top 10
- OWASP · API1:2023 Broken Object Level Authorization
- NIST AI 100-2 E2025 · Adversarial Machine Learning
- IETF · RFC 9700 · OAuth 2.0 Security BCP
- IETF · RFC 9068 · JWT access token profile
- OpenID Foundation · OpenID Connect Core 1.0
- IETF · RFC 8725 · JWT Best Current Practices
- IETF · RFC 6749 · OAuth 2.0 framework
- OWASP · SSRF Prevention Cheat Sheet
- WHATWG · URL Living Standard
- AWS EC2 · Instance metadata options
- IETF · RFC 3849
