Checklist de Gobernanza de IA Agéntica

Definición

El checklist de gobernanza de IA agéntica es un conjunto de controles operativos que convierte los marcos de gobernanza de IA en requisitos concretos e implementables para agentes autónomos que actúan en producción.

Alcance

Equipos que construyen o despliegan agentes autónomos o semiautónomos que usan herramientas, actúan sobre sistemas o toman decisiones de consecuencia. Es un compañero práctico de los marcos formales, no un sustituto del asesoramiento legal.

Requisitos clave

• Supervisión humana por riesgo: pon puertas de aprobación a las acciones de alto impacto, irreversibles o reguladas.
• Guardarraíles en entradas y salidas, incluyendo defensa frente a inyección de prompts y PII.
• Registro de auditoría y observabilidad completos para que cada acción sea trazable.
• Evaluación antes y después del despliegue, contra un conjunto de evaluación mantenido.
• Acceso de mínimo privilegio a las herramientas y datos que el agente puede alcanzar.
• Una respuesta a incidentes y un interruptor de parada definidos para los agentes en producción.

Controles

Puertas de aprobación humana

Enruta las acciones de alto impacto por un punto de control humano (Art. 14 del EU AI Act). Implementa el patrón de puerta de aprobación humana.

Guardarraíles

Valida y restringe entradas y salidas; defiende frente a la inyección de prompts y bloquea acciones fuera de política.

Registro de auditoría y observabilidad

Traza cada decisión, llamada a herramienta y acción para que el agente sea revisable y los incidentes reconstruibles.

Arnés de evaluación

Puntúa el comportamiento frente a un conjunto de evaluación antes de desplegar y monitoriza regresiones después: el 'Medir' del NIST.

Acceso de mínimo privilegio

Acota las herramientas, los datos y los permisos que un agente puede alcanzar al mínimo que su tarea requiere.

Respuesta a incidentes e interruptor de parada

Define cómo detectar, detener y remediar un agente que se comporta mal, incluyendo una forma de pararlo de inmediato.

Lista de verificación

• 01Clasifica el riesgo del agente e identifica qué acciones necesitan aprobación humana.
• 02Implementa guardarraíles para entradas/salidas y defensa frente a inyección de prompts.
• 03Habilita registro de auditoría y observabilidad de extremo a extremo.
• 04Monta un conjunto de evaluación y ejecútalo antes del despliegue y de forma continua.
• 05Aplica mínimo privilegio a herramientas, datos y credenciales.
• 06Define respuesta a incidentes, umbrales de monitorización y un interruptor de parada.
• 07Mapea cada control a tus obligaciones bajo el EU AI Act, ISO 42001 y NIST AI RMF.
• 08Documenta la responsabilidad y revisa el agente de forma periódica.

Errores comunes

• Dar a un agente amplio acceso a herramientas/datos 'por si acaso', creando un gran radio de impacto.
• Poner puertas a todo (fatiga de aprobación) o a nada (sin supervisión) en vez de hacerlo por riesgo.
• Desplegar sin un conjunto de evaluación, dejando calidad y seguridad sin medir.
• No tener interruptor de parada ni plan de incidentes cuando un agente se comporta mal en producción.
• Ignorar la inyección de prompts como superficie de ataque para agentes con herramientas.

Evidencia de producción

Contexto

Equipos que ponen en producción un agente autónomo o semiautónomo que usa herramientas y toma acciones de consecuencia.

Escenario

Antes del lanzamiento, el equipo ejecuta el checklist como puerta de preparación: clasifica el riesgo del agente, pone puertas de aprobación humana a las acciones de alto impacto, añade guardarraíles y defensa frente a inyección de prompts, habilita registro de auditoría y observabilidad, monta un conjunto de evaluación, acota el acceso de mínimo privilegio y define respuesta a incidentes y un interruptor de parada.

Tecnología

Un harness que combina una puerta de aprobación humana, guardarraíles, registro de auditoría/observabilidad, un arnés de evaluación y acceso acotado a herramientas y credenciales.

Carga

Se aplica por agente antes del despliegue y se revisa de forma periódica; el control más pesado (aprobación humana) se reserva para el pequeño conjunto de acciones de alto impacto.

Resultados

Patrón observado: los equipos que ponen puertas por riesgo, aplican mínimo privilegio e instrumentan desde el día uno contienen el radio de impacto de los errores del agente; los que dan acceso amplio 'por si acaso' o despliegan sin evaluaciones descubren los fallos en producción. Mide la idoneidad del escalado, la tasa de acciones erróneas y el tiempo medio de detección.

Lecciones aprendidas

• Trata el checklist como una puerta de preparación, no como una auditoría puntual: vuelve a ejecutarlo a medida que crecen las herramientas y la autonomía del agente.
• El acceso de mínimo privilegio y la aprobación humana basada en riesgo acotan el radio de impacto más que cualquier guardarraíl aislado.
• Sin un conjunto de evaluación y registro de auditoría antes del lanzamiento, no puedes distinguir un agente seguro de uno con suerte.
• Asigna cada control a un responsable concreto; la gobernanza sin rendición de cuentas es solo documentación.

Ejemplos

• Un agente cuya acción de reembolso tiene puerta de aprobación humana mientras las consultas de solo lectura corren libres.
• Un guardarraíl que bloquea una instrucción inyectada para exfiltrar datos mediante una herramienta.
• Una ejecución de evaluación que detecta una regresión de seguridad antes de desplegar una actualización del agente.

FAQs

¿Esto sustituye al EU AI Act o a ISO 42001?

No. Es un conjunto de controles práctico que operacionaliza sus principios para agentes. Úsalo junto a los marcos formales y al asesoramiento legal, no en su lugar.

¿Qué control importa más para los agentes autónomos?

La supervisión humana basada en riesgo más el acceso de mínimo privilegio y el registro de auditoría: juntos acotan lo que un agente puede hacer y hacen cada acción responsable.

¿Cómo conecta con la biblioteca de patrones?

Cada control mapea a patrones que lo implementan —puerta de aprobación humana para la supervisión, reflexión y evaluador-optimizador para la calidad— y a unidades de conocimiento como guardarraíles y observabilidad de IA.

Referencias

• NIST — AI Risk Management Framework (AI RMF 1.0)
• EU AI Act — Article 14 (Human oversight)
• OWASP — Top 10 for LLM Applications

Gobernanza relacionada