Marco de Auditoría para Sistemas Agénticos
Un marco práctico y neutral para hacer un agente auditable y para auditarlo. Define la evidencia que necesita un revisor independiente —trazas inmutables y correlacionadas de cada decisión y llamada a herramienta, procedencia de modelo y versión, informes de evaluación, registros de aprobación e incidentes— y cómo probar controles y muestrear ejecuciones de alto volumen. Cada tipo de evidencia se mapea a ISO/IEC 42001 y NIST AI RMF para que un auditor pueda verificar que el agente se mantuvo dentro de sus límites gobernados. Úsalo para diseñar la auditabilidad desde el inicio, no como algo añadido después.
Definición
Una auditoría de agente es un examen independiente y basado en evidencia que determina si un sistema agéntico operó dentro de su alcance, controles y políticas autorizados durante un periodo definido, y si las afirmaciones de gobernanza hechas sobre él se sustentan en evidencia fiable.
Alcance
Auditores, equipos de aseguramiento y de riesgo, y los responsables del sistema que deben hacer sus agentes auditables por diseño. Aplica a agentes autónomos o semiautónomos que usan herramientas y actúan a lo largo del tiempo, y da soporte tanto al aseguramiento interno como a la auditoría externa o regulatoria. Es un compañero práctico de los marcos formales, no un sustituto del asesoramiento legal.
Requisitos clave
- Auditabilidad por diseño: el agente debe emitir suficiente evidencia estructurada en tiempo de ejecución para reconstruir cualquier ejecución después.
- Cada ejecución produce una traza inmutable y correlacionada: objetivo, cada paso y llamada a herramienta con parámetros y resultados, aprobaciones, anulaciones y resultado.
- La evidencia debe ser completa, atribuible, con marca de tiempo y a prueba de manipulación para tener valor probatorio.
- La procedencia de modelo y versión (prompt, herramientas, modelo) se captura por ejecución para que el comportamiento quede ligado a una configuración conocida.
- El muestreo es por capas: estratificado por riesgo, estadístico, y revisión al 100% de todas las excepciones, anulaciones, denegaciones e incidentes.
- La evidencia de auditoría se mapea a la auditoría interna de ISO/IEC 42001 (Cláusula 9) y a las funciones Medir y Gestionar de NIST AI RMF.
Controles
- Registros de auditoría inmutables y trazabilidad
- Captura una traza correlacionada por ejecución —identidad y versión del agente, objetivo, cada paso, llamada a herramienta, resultado, aprobaciones y resultado— y protégela contra alteración. Implementa la observabilidad de IA.
- Procedencia de modelo y versión
- Registra el prompt exacto, el conjunto de herramientas y la versión del modelo detrás de cada ejecución para que el comportamiento sea atribuible a una base conocida y reproducible por configuración.
- Evidencia de evaluación
- Conserva los informes de evaluación previos al despliegue y continuos y los resultados de las puertas para que el auditor pueda verificar que se midieron la seguridad y la calidad: el 'Medir' del NIST.
- Prueba de controles y muestreo
- Prueba cada control frente a la evidencia usando una metodología de muestreo documentada: estratificada por riesgo, estadística y revisión completa de excepciones.
- Registros de aprobación e incidentes
- Captura aprobaciones humanas, anulaciones e incidentes con la identidad del actor y marcas de tiempo. Implementa el patrón de puerta de aprobación humana.
- Atestaciones y gestión de hallazgos
- Los responsables del sistema y de los controles firman atestaciones respaldadas por evidencia; los hallazgos se siguen hasta su cierre con severidad y plazos.
Lista de verificación
- 01Confirma que cada ejecución del agente produce una traza completa y correlacionada ligada por un ID de traza estable.
- 02Verifica que los registros son a prueba de manipulación, con marca de tiempo y conservados durante toda la ventana de auditoría y regulatoria.
- 03Comprueba que cada ejecución registra la procedencia de modelo y versión (prompt, herramientas, versión del modelo).
- 04Obtén un mapeo de controles / Declaración de Aplicabilidad que vincule cada control con su evidencia.
- 05Conserva y revisa los informes de evaluación previos al despliegue y continuos y los resultados de las puertas.
- 06Confirma que existen registros de aprobación, anulación e incidentes con identidad del actor y marcas de tiempo.
- 07Aplica una metodología de muestreo documentada: estratificada por riesgo, estadística y cobertura del 100% de excepciones.
- 08Sigue los hallazgos hasta su cierre con severidad y plazos, y recoge atestaciones firmadas de los responsables.
Errores comunes
- Agentes no auditables: registro añadido como algo tardío, dejando huecos que ninguna auditoría puede llenar.
- Registros mutables: registros que podrían alterarse, destruyendo su valor probatorio.
- Puntos ciegos del muestreo: muestreo solo aleatorio que pasa por alto acciones raras pero catastróficas.
- Atestación sin evidencia: responsables que firman controles que no pueden demostrar.
- Cementerio de hallazgos: problemas planteados pero nunca remediados ni vueltos a probar.
Ejemplos
- Un auditor reconstruye un reembolso en disputa siguiendo su traza correlacionada desde el objetivo a la llamada a herramienta y a la aprobación humana.
- Un control de auditoría continua alerta sobre una llamada a herramienta fuera de la lista permitida contra el flujo de registros en vivo.
- Los informes de evaluación conservados se mapean al Medir de NIST AI RMF, evidenciando que las puertas de seguridad pasaron antes del despliegue.
FAQs
- ¿Se puede auditar un agente no determinista?
- Sí: auditas los controles y el comportamiento registrado, no el determinismo. Las trazas completas e inmutables hacen reconstruible cualquier ejecución concreta aunque no se pueda reproducir exactamente.
- ¿Qué tamaño debe tener la muestra de auditoría?
- Suficiente para tu nivel de aseguramiento objetivo de forma estadística, más el 100% de las excepciones y las acciones de alto impacto. El muestreo nunca reemplaza la revisión completa de excepciones.
- ¿Cómo se mapea la evidencia de auditoría a los marcos?
- Las trazas y registros dan soporte a Medir y Gestionar de NIST AI RMF y a la auditoría interna de la Cláusula 9 de ISO/IEC 42001; un mapeo de controles o Declaración de Aplicabilidad vincula cada control con la evidencia que prueba que operó.