{ "generated": "2026-08-01T23:34:43.540Z", "count": 7, "license": "Content © Santiago Santa María Morales, licensed CC BY 4.0. Attribution required: credit the author and link the canonical URL.", "license_spdx": "CC-BY-4.0", "license_url": "https://creativecommons.org/licenses/by/4.0/", "entries": [ { "id": "GOV-001", "slug": "eu-ai-act", "category": "regulation", "updated": "2026-06-21", "version": "1.0", "url": "https://santismm.com/en/governance/eu-ai-act", "api": "https://santismm.com/api/governance/eu-ai-act", "evidence": { "evidenceLevel": "industry_observation", "confidenceLevel": "high", "sourceType": [ "paper", "industry_observation" ] }, "frameworks": [ "EU AI Act" ], "patterns": [ "human-approval-gate" ], "knowledge": [ "ai-governance", "guardrails", "human-in-the-loop", "ai-observability" ], "references": [ { "title": "European Union — Artificial Intelligence Act (Regulation (EU) 2024/1689)", "url": "https://artificialintelligenceact.eu/" }, { "title": "EU AI Act — Article 14 (Human oversight)", "url": "https://artificialintelligenceact.eu/article/14/" }, { "title": "European Commission — AI Act overview", "url": "https://digital-strategy.ec.europa.eu/en/policies/regulatory-framework-ai" } ], "related": [ "iso-42001", "nist-ai-rmf", "agentic-ai-governance-checklist" ], "locales": { "en": { "name": "EU AI Act", "summary": "The EU AI Act is the European Union's comprehensive, risk-based law for artificial intelligence. It sorts AI systems into risk tiers — unacceptable (banned), high-risk (strict obligations), limited-risk (transparency duties) and minimal-risk — and adds specific obligations for general-purpose AI models. It applies extraterritorially to anyone placing AI on the EU market and phases in over several years, with penalties reaching up to 7% of global annual turnover for the most serious breaches.", "definition": "The EU AI Act is a horizontal European regulation that governs AI by risk tier, imposing obligations on providers and deployers proportional to the risk an AI system poses to health, safety and fundamental rights.", "scope": "Providers and deployers that place AI systems or general-purpose AI models on the EU market or whose output is used in the EU — regardless of where they are established. Some uses (e.g. purely personal, certain research) are out of scope.", "keyPoints": [ "Risk-based tiers: unacceptable (prohibited), high-risk, limited-risk (transparency), minimal-risk.", "Prohibited practices include social scoring and certain biometric and manipulative uses.", "High-risk systems require risk management, data governance, technical documentation, logging, human oversight, accuracy/robustness and post-market monitoring.", "General-purpose AI (GPAI) models carry their own transparency and, for systemic-risk models, additional obligations.", "Transparency duties: users must be told when they interact with AI, and synthetic content must be marked.", "Phased application with significant penalties for non-compliance." ], "controls": [ { "control": "Risk classification", "note": "Determine each system's tier first — it decides every other obligation. Misclassifying a high-risk system is the costliest early mistake." }, { "control": "Human oversight (Art. 14)", "note": "High-risk systems must be overseeable by a person who can intervene or stop them — the regulatory basis for human-approval gates." }, { "control": "Technical documentation & logging", "note": "Maintain documentation and automatic event logs so the system is traceable and auditable across its lifecycle." }, { "control": "Transparency to users", "note": "Disclose AI interaction and label AI-generated or manipulated content (deepfakes)." }, { "control": "Post-market monitoring", "note": "Monitor performance in the field and report serious incidents; governance does not end at deployment." } ], "checklist": [ "Inventory your AI systems and classify each by risk tier.", "Confirm none fall under prohibited practices.", "For high-risk systems, stand up risk management, data governance and technical documentation.", "Implement human oversight with the ability to intervene or stop the system.", "Enable logging/traceability and define post-market monitoring and incident reporting.", "Add user-facing transparency and content labelling where required.", "Track the phased application dates that apply to your systems." ], "pitfalls": [ "Assuming the Act doesn't apply because you're outside the EU — it is extraterritorial.", "Treating GPAI obligations as identical to AI-system obligations; they are distinct.", "Bolting on human oversight that can't actually intervene in time.", "Under-documenting: missing technical documentation and logs is a common gap." ], "examples": [ "A hiring screening tool classified as high-risk, requiring documentation, human oversight and monitoring.", "A chatbot adding a clear 'you are talking to an AI' disclosure to meet transparency duties.", "A GPAI provider publishing model documentation and a training-data summary." ], "faqs": [ { "q": "Does the EU AI Act apply to companies outside the EU?", "a": "Yes. It applies to providers and deployers whose AI systems are placed on the EU market or whose output is used in the EU, regardless of where the company is established." }, { "q": "What is a 'high-risk' AI system?", "a": "Systems used in sensitive areas (e.g. employment, credit, critical infrastructure, certain biometrics) or as safety components of regulated products. They carry the strictest obligations short of prohibition." }, { "q": "How does it relate to human-in-the-loop?", "a": "Article 14 requires effective human oversight for high-risk systems — a person able to understand, intervene in or stop the system. The human-approval-gate pattern is one way to implement it." } ] }, "es": { "name": "Reglamento Europeo de IA (EU AI Act)", "summary": "El Reglamento Europeo de IA es la ley integral y basada en riesgo de la Unión Europea para la inteligencia artificial. Clasifica los sistemas de IA en niveles de riesgo —inaceptable (prohibido), alto riesgo (obligaciones estrictas), riesgo limitado (deberes de transparencia) y riesgo mínimo— y añade obligaciones específicas para los modelos de IA de propósito general. Se aplica de forma extraterritorial a quien comercialice IA en el mercado de la UE y entra en vigor de forma escalonada, con sanciones de hasta el 7% de la facturación anual mundial en las infracciones más graves.", "definition": "El Reglamento Europeo de IA es una norma europea horizontal que gobierna la IA por nivel de riesgo, imponiendo obligaciones a proveedores y responsables del despliegue proporcionales al riesgo que el sistema supone para la salud, la seguridad y los derechos fundamentales.", "scope": "Proveedores y responsables del despliegue que comercialicen sistemas de IA o modelos de IA de propósito general en el mercado de la UE o cuya salida se use en la UE, con independencia de dónde estén establecidos. Algunos usos (p. ej. puramente personales, cierta investigación) quedan fuera del ámbito.", "keyPoints": [ "Niveles basados en riesgo: inaceptable (prohibido), alto riesgo, riesgo limitado (transparencia), riesgo mínimo.", "Las prácticas prohibidas incluyen la puntuación social y ciertos usos biométricos y manipuladores.", "Los sistemas de alto riesgo exigen gestión de riesgos, gobernanza de datos, documentación técnica, registros, supervisión humana, precisión/robustez y vigilancia poscomercialización.", "Los modelos de IA de propósito general (GPAI) tienen su propia transparencia y, los de riesgo sistémico, obligaciones adicionales.", "Deberes de transparencia: hay que avisar al usuario cuando interactúa con IA y marcar el contenido sintético.", "Aplicación escalonada con sanciones significativas por incumplimiento." ], "controls": [ { "control": "Clasificación de riesgo", "note": "Determina primero el nivel de cada sistema: decide todas las demás obligaciones. Clasificar mal un sistema de alto riesgo es el error temprano más costoso." }, { "control": "Supervisión humana (Art. 14)", "note": "Los sistemas de alto riesgo deben poder ser supervisados por una persona que pueda intervenir o detenerlos: la base regulatoria de las puertas de aprobación humana." }, { "control": "Documentación técnica y registros", "note": "Mantén documentación y registros automáticos de eventos para que el sistema sea trazable y auditable durante su ciclo de vida." }, { "control": "Transparencia hacia el usuario", "note": "Revela la interacción con IA y etiqueta el contenido generado o manipulado por IA (deepfakes)." }, { "control": "Vigilancia poscomercialización", "note": "Monitoriza el rendimiento en el campo y reporta incidentes graves; la gobernanza no termina en el despliegue." } ], "checklist": [ "Inventaría tus sistemas de IA y clasifica cada uno por nivel de riesgo.", "Confirma que ninguno cae en prácticas prohibidas.", "Para los de alto riesgo, monta gestión de riesgos, gobernanza de datos y documentación técnica.", "Implementa supervisión humana con capacidad de intervenir o detener el sistema.", "Habilita registro/trazabilidad y define la vigilancia poscomercialización y el reporte de incidentes.", "Añade transparencia hacia el usuario y etiquetado de contenido donde se exija.", "Sigue las fechas de aplicación escalonada que afectan a tus sistemas." ], "pitfalls": [ "Suponer que el Reglamento no aplica por estar fuera de la UE: es extraterritorial.", "Tratar las obligaciones de GPAI como idénticas a las de los sistemas de IA; son distintas.", "Añadir una supervisión humana que en realidad no puede intervenir a tiempo.", "Documentar de menos: la falta de documentación técnica y registros es una carencia habitual." ], "examples": [ "Una herramienta de cribado de candidatos clasificada como alto riesgo, que exige documentación, supervisión humana y monitorización.", "Un chatbot que añade un aviso claro de 'estás hablando con una IA' para cumplir los deberes de transparencia.", "Un proveedor de GPAI que publica la documentación del modelo y un resumen de los datos de entrenamiento." ], "faqs": [ { "q": "¿El Reglamento aplica a empresas fuera de la UE?", "a": "Sí. Aplica a proveedores y responsables del despliegue cuyos sistemas de IA se comercialicen en el mercado de la UE o cuya salida se use en la UE, con independencia de dónde esté la empresa." }, { "q": "¿Qué es un sistema de IA de 'alto riesgo'?", "a": "Sistemas usados en ámbitos sensibles (p. ej. empleo, crédito, infraestructuras críticas, ciertos usos biométricos) o como componentes de seguridad de productos regulados. Tienen las obligaciones más estrictas sin llegar a la prohibición." }, { "q": "¿Cómo se relaciona con el human-in-the-loop?", "a": "El Artículo 14 exige supervisión humana efectiva para los sistemas de alto riesgo: una persona capaz de entender, intervenir o detener el sistema. El patrón de puerta de aprobación humana es una forma de implementarlo." } ] }, "pt": { "name": "Regulamento Europeu de IA (EU AI Act)", "summary": "O Regulamento Europeu de IA é a lei abrangente e baseada em risco da União Europeia para a inteligência artificial. Classifica os sistemas de IA em níveis de risco —inaceitável (proibido), alto risco (obrigações estritas), risco limitado (deveres de transparência) e risco mínimo— e adiciona obrigações específicas para os modelos de IA de propósito geral. Aplica-se de forma extraterritorial a quem comercializa IA no mercado da UE e entra em vigor de forma faseada, com sanções de até 7% do faturamento anual mundial nas infrações mais graves.", "definition": "O Regulamento Europeu de IA é uma norma europeia horizontal que governa a IA por nível de risco, impondo obrigações a fornecedores e implantadores proporcionais ao risco que o sistema representa para a saúde, a segurança e os direitos fundamentais.", "scope": "Fornecedores e implantadores que comercializem sistemas de IA ou modelos de IA de propósito geral no mercado da UE ou cuja saída seja usada na UE, independentemente de onde estejam estabelecidos. Alguns usos (ex.: puramente pessoais, certa pesquisa) ficam fora do escopo.", "keyPoints": [ "Níveis baseados em risco: inaceitável (proibido), alto risco, risco limitado (transparência), risco mínimo.", "As práticas proibidas incluem a pontuação social e certos usos biométricos e manipuladores.", "Os sistemas de alto risco exigem gestão de risco, governança de dados, documentação técnica, registros, supervisão humana, precisão/robustez e vigilância pós-mercado.", "Os modelos de IA de propósito geral (GPAI) têm sua própria transparência e, os de risco sistêmico, obrigações adicionais.", "Deveres de transparência: é preciso avisar o usuário quando ele interage com IA e marcar o conteúdo sintético.", "Aplicação faseada com sanções significativas por descumprimento." ], "controls": [ { "control": "Classificação de risco", "note": "Determine primeiro o nível de cada sistema: ele decide todas as demais obrigações. Classificar mal um sistema de alto risco é o erro inicial mais custoso." }, { "control": "Supervisão humana (Art. 14)", "note": "Os sistemas de alto risco devem poder ser supervisionados por uma pessoa que possa intervir ou pará-los: a base regulatória dos portões de aprovação humana." }, { "control": "Documentação técnica e registros", "note": "Mantenha documentação e registros automáticos de eventos para que o sistema seja rastreável e auditável ao longo do seu ciclo de vida." }, { "control": "Transparência ao usuário", "note": "Revele a interação com IA e rotule o conteúdo gerado ou manipulado por IA (deepfakes)." }, { "control": "Vigilância pós-mercado", "note": "Monitore o desempenho em campo e reporte incidentes graves; a governança não termina na implantação." } ], "checklist": [ "Inventarie seus sistemas de IA e classifique cada um por nível de risco.", "Confirme que nenhum cai em práticas proibidas.", "Para os de alto risco, monte gestão de risco, governança de dados e documentação técnica.", "Implemente supervisão humana com capacidade de intervir ou parar o sistema.", "Habilite registro/rastreabilidade e defina a vigilância pós-mercado e o reporte de incidentes.", "Adicione transparência ao usuário e rotulagem de conteúdo onde for exigido.", "Acompanhe as datas de aplicação faseada que afetam seus sistemas." ], "pitfalls": [ "Supor que o Regulamento não se aplica por estar fora da UE: ele é extraterritorial.", "Tratar as obrigações de GPAI como idênticas às dos sistemas de IA; são distintas.", "Adicionar uma supervisão humana que na verdade não consegue intervir a tempo.", "Documentar de menos: a falta de documentação técnica e registros é uma lacuna comum." ], "examples": [ "Uma ferramenta de triagem de candidatos classificada como alto risco, que exige documentação, supervisão humana e monitoramento.", "Um chatbot que adiciona um aviso claro de 'você está falando com uma IA' para cumprir os deveres de transparência.", "Um fornecedor de GPAI que publica a documentação do modelo e um resumo dos dados de treinamento." ], "faqs": [ { "q": "O Regulamento se aplica a empresas fora da UE?", "a": "Sim. Aplica-se a fornecedores e implantadores cujos sistemas de IA sejam comercializados no mercado da UE ou cuja saída seja usada na UE, independentemente de onde a empresa esteja." }, { "q": "O que é um sistema de IA de 'alto risco'?", "a": "Sistemas usados em áreas sensíveis (ex.: emprego, crédito, infraestrutura crítica, certos usos biométricos) ou como componentes de segurança de produtos regulados. Têm as obrigações mais estritas aquém da proibição." }, { "q": "Como se relaciona com o human-in-the-loop?", "a": "O Artigo 14 exige supervisão humana efetiva para os sistemas de alto risco: uma pessoa capaz de entender, intervir ou parar o sistema. O padrão de portão de aprovação humana é uma forma de implementá-lo." } ] } } }, { "id": "GOV-002", "slug": "iso-42001", "category": "standard", "updated": "2026-06-21", "version": "1.0", "url": "https://santismm.com/en/governance/iso-42001", "api": "https://santismm.com/api/governance/iso-42001", "evidence": { "evidenceLevel": "industry_observation", "confidenceLevel": "high", "sourceType": [ "paper", "industry_observation" ] }, "frameworks": [ "ISO/IEC 42001" ], "patterns": [ "human-approval-gate" ], "knowledge": [ "ai-governance", "agentic-evaluation", "ai-observability", "guardrails" ], "references": [ { "title": "ISO/IEC 42001:2023 — AI management system", "url": "https://www.iso.org/standard/81230.html" }, { "title": "ISO — What is an AI management system?", "url": "https://www.iso.org/artificial-intelligence/ai-management-systems" } ], "related": [ "eu-ai-act", "nist-ai-rmf", "agentic-ai-governance-checklist" ], "locales": { "en": { "name": "ISO/IEC 42001", "summary": "ISO/IEC 42001:2023 is the first international, certifiable standard for an AI management system (AIMS). Like ISO 27001 for information security, it defines how an organization should establish, implement, maintain and continually improve the way it governs AI — through a policy, defined roles, risk and impact assessments, a set of controls, and a Plan-Do-Check-Act improvement cycle. It is voluntary and certifiable, giving organizations a recognized way to demonstrate responsible AI management.", "definition": "ISO/IEC 42001 is a management-system standard that specifies requirements for establishing and continually improving an Artificial Intelligence Management System (AIMS) across an organization's AI lifecycle.", "scope": "Any organization that provides or uses AI, of any size or sector. It governs the management system around AI — not a specific product — so it complements product- or risk-specific frameworks rather than replacing them.", "keyPoints": [ "A certifiable AI management system, structured like other ISO management standards.", "Requires an AI policy, leadership commitment and clearly assigned roles and responsibilities.", "Centres on AI risk assessment and AI system impact assessment.", "Provides a reference set of controls (Annex A) and implementation guidance (Annex B).", "Built on the Plan-Do-Check-Act cycle for continual improvement.", "Complements regulation (EU AI Act) and risk frameworks (NIST AI RMF)." ], "controls": [ { "control": "AI policy & governance roles", "note": "Establish an organizational AI policy and assign accountable owners — governance starts with leadership, not tooling." }, { "control": "AI risk assessment", "note": "Systematically identify, analyse and treat risks across the AI lifecycle, and keep the assessment current." }, { "control": "AI system impact assessment", "note": "Assess impacts on individuals and society (fairness, safety, rights), not just technical risk." }, { "control": "Lifecycle controls (Annex A)", "note": "Apply controls for data, design, deployment and operation, selecting those relevant to your context." }, { "control": "Continual improvement (PDCA)", "note": "Audit, review and improve the management system on a cycle, so governance keeps pace with change." } ], "checklist": [ "Define the AIMS scope and an organizational AI policy.", "Assign governance roles, responsibilities and leadership accountability.", "Run AI risk assessments and AI system impact assessments.", "Select and implement the relevant Annex A controls.", "Document objectives, processes and evidence of operation.", "Establish internal audit and management review.", "Run the Plan-Do-Check-Act cycle and pursue certification if desired." ], "pitfalls": [ "Treating it as a one-off project rather than a continuing management system.", "Documenting a policy nobody operates against day to day.", "Confusing it with EU AI Act compliance — certification is not legal conformity.", "Skipping impact assessment and reducing it to technical risk only." ], "examples": [ "A company standing up an AIMS to govern all its AI use under one policy and risk process.", "An impact assessment surfacing a fairness risk before a model ships.", "An annual internal audit and management review closing governance gaps." ], "faqs": [ { "q": "Is ISO/IEC 42001 the same as complying with the EU AI Act?", "a": "No. The standard is a voluntary, certifiable management system; the EU AI Act is binding law. A well-run AIMS supports legal compliance but does not by itself satisfy it." }, { "q": "Can you get certified?", "a": "Yes. Like ISO 27001, an accredited body can audit and certify an organization's AI management system against the standard." }, { "q": "How does it relate to NIST AI RMF?", "a": "They are complementary: NIST AI RMF gives a risk-management framework and trustworthiness characteristics; ISO/IEC 42001 gives the certifiable management-system structure to operate governance continuously." } ] }, "es": { "name": "ISO/IEC 42001", "summary": "ISO/IEC 42001:2023 es la primera norma internacional y certificable para un sistema de gestión de IA (AIMS). Igual que ISO 27001 para la seguridad de la información, define cómo una organización debe establecer, implementar, mantener y mejorar de forma continua la manera en que gobierna la IA: mediante una política, roles definidos, evaluaciones de riesgo e impacto, un conjunto de controles y un ciclo de mejora Planificar-Hacer-Verificar-Actuar. Es voluntaria y certificable, y ofrece una forma reconocida de demostrar una gestión responsable de la IA.", "definition": "ISO/IEC 42001 es una norma de sistema de gestión que especifica los requisitos para establecer y mejorar de forma continua un Sistema de Gestión de Inteligencia Artificial (AIMS) a lo largo del ciclo de vida de la IA de una organización.", "scope": "Cualquier organización que provea o use IA, de cualquier tamaño o sector. Gobierna el sistema de gestión en torno a la IA —no un producto concreto— por lo que complementa marcos específicos de producto o riesgo en vez de reemplazarlos.", "keyPoints": [ "Un sistema de gestión de IA certificable, estructurado como otras normas de gestión ISO.", "Exige una política de IA, compromiso de la dirección y roles y responsabilidades claramente asignados.", "Se centra en la evaluación de riesgos de IA y la evaluación de impacto del sistema de IA.", "Proporciona un conjunto de controles de referencia (Anexo A) y guía de implementación (Anexo B).", "Se basa en el ciclo Planificar-Hacer-Verificar-Actuar para la mejora continua.", "Complementa la regulación (EU AI Act) y los marcos de riesgo (NIST AI RMF)." ], "controls": [ { "control": "Política y roles de gobernanza de IA", "note": "Establece una política organizativa de IA y asigna responsables: la gobernanza empieza por la dirección, no por las herramientas." }, { "control": "Evaluación de riesgos de IA", "note": "Identifica, analiza y trata los riesgos de forma sistemática a lo largo del ciclo de vida, y mantén la evaluación actualizada." }, { "control": "Evaluación de impacto del sistema de IA", "note": "Evalúa los impactos en las personas y la sociedad (equidad, seguridad, derechos), no solo el riesgo técnico." }, { "control": "Controles del ciclo de vida (Anexo A)", "note": "Aplica controles de datos, diseño, despliegue y operación, seleccionando los relevantes para tu contexto." }, { "control": "Mejora continua (PDCA)", "note": "Audita, revisa y mejora el sistema de gestión de forma cíclica, para que la gobernanza siga el ritmo del cambio." } ], "checklist": [ "Define el alcance del AIMS y una política organizativa de IA.", "Asigna roles de gobernanza, responsabilidades y rendición de cuentas de la dirección.", "Ejecuta evaluaciones de riesgos de IA y de impacto del sistema de IA.", "Selecciona e implementa los controles relevantes del Anexo A.", "Documenta objetivos, procesos y evidencia de operación.", "Establece auditoría interna y revisión por la dirección.", "Ejecuta el ciclo Planificar-Hacer-Verificar-Actuar y busca la certificación si lo deseas." ], "pitfalls": [ "Tratarlo como un proyecto puntual en vez de un sistema de gestión continuo.", "Documentar una política contra la que nadie opera en el día a día.", "Confundirlo con el cumplimiento del EU AI Act: la certificación no es conformidad legal.", "Saltarse la evaluación de impacto y reducirla solo a riesgo técnico." ], "examples": [ "Una empresa que monta un AIMS para gobernar todo su uso de IA bajo una política y un proceso de riesgo.", "Una evaluación de impacto que revela un riesgo de equidad antes de desplegar un modelo.", "Una auditoría interna y revisión por la dirección anuales que cierran brechas de gobernanza." ], "faqs": [ { "q": "¿ISO/IEC 42001 es lo mismo que cumplir el EU AI Act?", "a": "No. La norma es un sistema de gestión voluntario y certificable; el EU AI Act es ley vinculante. Un AIMS bien llevado apoya el cumplimiento legal, pero no lo satisface por sí solo." }, { "q": "¿Se puede certificar?", "a": "Sí. Igual que ISO 27001, un organismo acreditado puede auditar y certificar el sistema de gestión de IA de una organización frente a la norma." }, { "q": "¿Cómo se relaciona con NIST AI RMF?", "a": "Son complementarios: NIST AI RMF da un marco de gestión de riesgos y características de confiabilidad; ISO/IEC 42001 da la estructura certificable de sistema de gestión para operar la gobernanza de forma continua." } ] }, "pt": { "name": "ISO/IEC 42001", "summary": "A ISO/IEC 42001:2023 é a primeira norma internacional e certificável para um sistema de gestão de IA (AIMS). Assim como a ISO 27001 para a segurança da informação, ela define como uma organização deve estabelecer, implementar, manter e melhorar continuamente a forma como governa a IA: por meio de uma política, papéis definidos, avaliações de risco e impacto, um conjunto de controles e um ciclo de melhoria Planejar-Fazer-Verificar-Agir. É voluntária e certificável, oferecendo uma forma reconhecida de demonstrar uma gestão responsável da IA.", "definition": "A ISO/IEC 42001 é uma norma de sistema de gestão que especifica os requisitos para estabelecer e melhorar continuamente um Sistema de Gestão de Inteligência Artificial (AIMS) ao longo do ciclo de vida da IA de uma organização.", "scope": "Qualquer organização que forneça ou use IA, de qualquer tamanho ou setor. Governa o sistema de gestão em torno da IA —não um produto específico— por isso complementa frameworks específicos de produto ou risco em vez de substituí-los.", "keyPoints": [ "Um sistema de gestão de IA certificável, estruturado como outras normas de gestão ISO.", "Exige uma política de IA, comprometimento da liderança e papéis e responsabilidades claramente atribuídos.", "Centra-se na avaliação de riscos de IA e na avaliação de impacto do sistema de IA.", "Fornece um conjunto de controles de referência (Anexo A) e orientação de implementação (Anexo B).", "Baseia-se no ciclo Planejar-Fazer-Verificar-Agir para a melhoria contínua.", "Complementa a regulação (EU AI Act) e os frameworks de risco (NIST AI RMF)." ], "controls": [ { "control": "Política e papéis de governança de IA", "note": "Estabeleça uma política organizacional de IA e atribua responsáveis: a governança começa pela liderança, não pelas ferramentas." }, { "control": "Avaliação de riscos de IA", "note": "Identifique, analise e trate os riscos de forma sistemática ao longo do ciclo de vida, e mantenha a avaliação atualizada." }, { "control": "Avaliação de impacto do sistema de IA", "note": "Avalie os impactos nas pessoas e na sociedade (equidade, segurança, direitos), não só o risco técnico." }, { "control": "Controles do ciclo de vida (Anexo A)", "note": "Aplique controles de dados, design, implantação e operação, selecionando os relevantes para o seu contexto." }, { "control": "Melhoria contínua (PDCA)", "note": "Audite, revise e melhore o sistema de gestão de forma cíclica, para que a governança acompanhe a mudança." } ], "checklist": [ "Defina o escopo do AIMS e uma política organizacional de IA.", "Atribua papéis de governança, responsabilidades e prestação de contas da liderança.", "Execute avaliações de riscos de IA e de impacto do sistema de IA.", "Selecione e implemente os controles relevantes do Anexo A.", "Documente objetivos, processos e evidência de operação.", "Estabeleça auditoria interna e análise crítica pela direção.", "Execute o ciclo Planejar-Fazer-Verificar-Agir e busque a certificação se desejar." ], "pitfalls": [ "Tratá-la como um projeto pontual em vez de um sistema de gestão contínuo.", "Documentar uma política contra a qual ninguém opera no dia a dia.", "Confundi-la com a conformidade ao EU AI Act: a certificação não é conformidade legal.", "Pular a avaliação de impacto e reduzi-la apenas a risco técnico." ], "examples": [ "Uma empresa que monta um AIMS para governar todo o seu uso de IA sob uma política e um processo de risco.", "Uma avaliação de impacto que revela um risco de equidade antes de implantar um modelo.", "Uma auditoria interna e análise crítica pela direção anuais que fecham lacunas de governança." ], "faqs": [ { "q": "ISO/IEC 42001 é o mesmo que cumprir o EU AI Act?", "a": "Não. A norma é um sistema de gestão voluntário e certificável; o EU AI Act é lei vinculante. Um AIMS bem conduzido apoia a conformidade legal, mas não a satisfaz por si só." }, { "q": "É possível se certificar?", "a": "Sim. Assim como a ISO 27001, um organismo acreditado pode auditar e certificar o sistema de gestão de IA de uma organização frente à norma." }, { "q": "Como se relaciona com o NIST AI RMF?", "a": "São complementares: o NIST AI RMF dá um framework de gestão de riscos e características de confiabilidade; a ISO/IEC 42001 dá a estrutura certificável de sistema de gestão para operar a governança de forma contínua." } ] } } }, { "id": "GOV-003", "slug": "nist-ai-rmf", "category": "framework", "updated": "2026-06-21", "version": "1.0", "url": "https://santismm.com/en/governance/nist-ai-rmf", "api": "https://santismm.com/api/governance/nist-ai-rmf", "evidence": { "evidenceLevel": "industry_observation", "confidenceLevel": "high", "sourceType": [ "paper", "industry_observation" ] }, "frameworks": [ "NIST AI RMF" ], "patterns": [ "human-approval-gate", "evaluator-optimizer" ], "knowledge": [ "ai-governance", "agentic-evaluation", "ai-observability", "guardrails" ], "references": [ { "title": "NIST — AI Risk Management Framework (AI RMF 1.0)", "url": "https://www.nist.gov/itl/ai-risk-management-framework" }, { "title": "NIST AI 600-1 — Generative AI Profile", "url": "https://www.nist.gov/publications/artificial-intelligence-risk-management-framework-generative-artificial-intelligence" } ], "related": [ "eu-ai-act", "iso-42001", "agentic-ai-governance-checklist" ], "locales": { "en": { "name": "NIST AI Risk Management Framework", "summary": "The NIST AI RMF 1.0 is a voluntary, widely-adopted framework for managing AI risk across the lifecycle. It is organized around four functions — Govern, Map, Measure and Manage — and a set of characteristics of trustworthy AI (valid and reliable, safe, secure and resilient, accountable and transparent, explainable, privacy-enhanced, and fair with harmful bias managed). A companion Generative AI Profile adapts it to GenAI risks. Unlike the EU AI Act it is not law, but it is a common backbone for operational AI governance.", "definition": "The NIST AI Risk Management Framework is a voluntary framework that helps organizations govern, map, measure and manage the risks of AI systems while pursuing the characteristics of trustworthy AI.", "scope": "Any organization designing, developing, deploying or using AI, in any sector. It is voluntary and outcome-focused, designed to be tailored to context and used alongside standards and regulation.", "keyPoints": [ "Four core functions: Govern (culture & accountability), Map (context & risks), Measure (assess & track), Manage (prioritize & respond).", "Govern is cross-cutting — it underpins the other three.", "Defines characteristics of trustworthy AI to aim for, not just risks to avoid.", "A companion Generative AI Profile (NIST AI 600-1) addresses GenAI-specific risks.", "Voluntary and flexible — meant to be tailored, not certified against.", "Pairs well with ISO/IEC 42001 (management system) and the EU AI Act (law)." ], "controls": [ { "control": "Govern", "note": "Establish the policies, accountability, culture and roles that make risk management real — the foundation the other functions stand on." }, { "control": "Map", "note": "Establish context: intended use, stakeholders, and the risks and impacts of the AI system before building." }, { "control": "Measure", "note": "Use quantitative and qualitative methods to assess, benchmark and monitor risk and trustworthiness — you can't manage what you don't measure." }, { "control": "Manage", "note": "Prioritize, respond to and track risks over time, including incident response and decommissioning." }, { "control": "Trustworthiness characteristics", "note": "Steer toward valid, safe, secure, accountable, explainable, privacy-enhanced and fair outcomes as explicit design targets." } ], "checklist": [ "Stand up the Govern function: policy, accountability and roles.", "Map each system's context, intended use, stakeholders and risks.", "Define metrics and Measure validity, safety, security, bias and robustness.", "Manage: prioritize risks, plan responses and track them over time.", "Apply the Generative AI Profile for GenAI systems.", "Set incident response and monitoring for deployed systems.", "Map the framework to your obligations under ISO 42001 and the EU AI Act." ], "pitfalls": [ "Doing Map and Measure but neglecting Govern, so nothing is accountable.", "Measuring what's easy instead of what matters for trustworthiness.", "Treating it as a checklist rather than a continuous risk practice.", "Ignoring the Generative AI Profile for LLM and agentic systems." ], "examples": [ "A team using Map to document an agent's intended use and stakeholders before building.", "A Measure step benchmarking a model for bias and robustness against an eval set.", "A Manage process with incident response for a deployed GenAI assistant." ], "faqs": [ { "q": "Is the NIST AI RMF mandatory?", "a": "No. It is a voluntary framework. But it is widely adopted as a common language and backbone for operational AI risk management, and often referenced in policy and procurement." }, { "q": "What are the four functions?", "a": "Govern, Map, Measure and Manage. Govern is cross-cutting and supports the other three, which run across the AI lifecycle." }, { "q": "How does it handle generative AI?", "a": "Through the companion Generative AI Profile (NIST AI 600-1), which identifies GenAI-specific risks and suggested actions mapped to the four functions." } ] }, "es": { "name": "Marco de Gestión de Riesgos de IA del NIST", "summary": "El NIST AI RMF 1.0 es un marco voluntario y ampliamente adoptado para gestionar el riesgo de la IA a lo largo de su ciclo de vida. Se organiza en torno a cuatro funciones —Gobernar, Mapear, Medir y Gestionar— y un conjunto de características de IA confiable (válida y fiable, segura, resistente, responsable y transparente, explicable, con privacidad reforzada y justa con el sesgo dañino gestionado). Un Perfil de IA Generativa lo adapta a los riesgos de la GenAI. A diferencia del EU AI Act no es ley, pero es una columna vertebral común para la gobernanza operativa de la IA.", "definition": "El Marco de Gestión de Riesgos de IA del NIST es un marco voluntario que ayuda a las organizaciones a gobernar, mapear, medir y gestionar los riesgos de los sistemas de IA mientras persiguen las características de la IA confiable.", "scope": "Cualquier organización que diseñe, desarrolle, despliegue o use IA, en cualquier sector. Es voluntario y orientado a resultados, pensado para adaptarse al contexto y usarse junto a normas y regulación.", "keyPoints": [ "Cuatro funciones centrales: Gobernar (cultura y rendición de cuentas), Mapear (contexto y riesgos), Medir (evaluar y seguir), Gestionar (priorizar y responder).", "Gobernar es transversal: sustenta a las otras tres.", "Define características de IA confiable a perseguir, no solo riesgos a evitar.", "Un Perfil de IA Generativa (NIST AI 600-1) aborda los riesgos específicos de la GenAI.", "Voluntario y flexible: pensado para adaptarse, no para certificarse.", "Encaja bien con ISO/IEC 42001 (sistema de gestión) y el EU AI Act (ley)." ], "controls": [ { "control": "Gobernar", "note": "Establece las políticas, la rendición de cuentas, la cultura y los roles que hacen real la gestión de riesgos: la base sobre la que se apoyan las demás funciones." }, { "control": "Mapear", "note": "Establece el contexto: uso previsto, partes interesadas, y los riesgos e impactos del sistema de IA antes de construir." }, { "control": "Medir", "note": "Usa métodos cuantitativos y cualitativos para evaluar, comparar y monitorizar el riesgo y la confiabilidad: no puedes gestionar lo que no mides." }, { "control": "Gestionar", "note": "Prioriza, responde y haz seguimiento de los riesgos en el tiempo, incluyendo respuesta a incidentes y retirada." }, { "control": "Características de confiabilidad", "note": "Dirige hacia resultados válidos, seguros, responsables, explicables, con privacidad reforzada y justos como objetivos de diseño explícitos." } ], "checklist": [ "Pon en marcha la función Gobernar: política, rendición de cuentas y roles.", "Mapea el contexto, el uso previsto, las partes interesadas y los riesgos de cada sistema.", "Define métricas y Mide validez, seguridad, sesgo y robustez.", "Gestiona: prioriza riesgos, planifica respuestas y haz seguimiento en el tiempo.", "Aplica el Perfil de IA Generativa para los sistemas de GenAI.", "Establece respuesta a incidentes y monitorización para los sistemas desplegados.", "Mapea el marco a tus obligaciones bajo ISO 42001 y el EU AI Act." ], "pitfalls": [ "Hacer Mapear y Medir pero descuidar Gobernar, de modo que nada es responsable.", "Medir lo fácil en vez de lo que importa para la confiabilidad.", "Tratarlo como una lista de verificación en vez de una práctica continua de riesgo.", "Ignorar el Perfil de IA Generativa para sistemas LLM y agénticos." ], "examples": [ "Un equipo que usa Mapear para documentar el uso previsto y las partes interesadas de un agente antes de construir.", "Un paso de Medir que compara un modelo en sesgo y robustez frente a un conjunto de evaluación.", "Un proceso de Gestionar con respuesta a incidentes para un asistente de GenAI desplegado." ], "faqs": [ { "q": "¿El NIST AI RMF es obligatorio?", "a": "No. Es un marco voluntario. Pero está ampliamente adoptado como lenguaje común y columna vertebral para la gestión operativa del riesgo de IA, y se referencia a menudo en políticas y compras." }, { "q": "¿Cuáles son las cuatro funciones?", "a": "Gobernar, Mapear, Medir y Gestionar. Gobernar es transversal y sustenta a las otras tres, que recorren el ciclo de vida de la IA." }, { "q": "¿Cómo aborda la IA generativa?", "a": "Mediante el Perfil de IA Generativa complementario (NIST AI 600-1), que identifica riesgos específicos de la GenAI y acciones sugeridas mapeadas a las cuatro funciones." } ] }, "pt": { "name": "Framework de Gestão de Riscos de IA do NIST", "summary": "O NIST AI RMF 1.0 é um framework voluntário e amplamente adotado para gerir o risco da IA ao longo do seu ciclo de vida. Organiza-se em torno de quatro funções —Governar, Mapear, Medir e Gerir— e um conjunto de características de IA confiável (válida e confiável, segura, resiliente, responsável e transparente, explicável, com privacidade reforçada e justa com o viés prejudicial gerido). Um Perfil de IA Generativa o adapta aos riscos da GenAI. Diferente do EU AI Act, não é lei, mas é uma espinha dorsal comum para a governança operacional da IA.", "definition": "O Framework de Gestão de Riscos de IA do NIST é um framework voluntário que ajuda as organizações a governar, mapear, medir e gerir os riscos dos sistemas de IA enquanto perseguem as características da IA confiável.", "scope": "Qualquer organização que projete, desenvolva, implante ou use IA, em qualquer setor. É voluntário e orientado a resultados, pensado para se adaptar ao contexto e ser usado junto a normas e regulação.", "keyPoints": [ "Quatro funções centrais: Governar (cultura e prestação de contas), Mapear (contexto e riscos), Medir (avaliar e acompanhar), Gerir (priorizar e responder).", "Governar é transversal: sustenta as outras três.", "Define características de IA confiável a perseguir, não só riscos a evitar.", "Um Perfil de IA Generativa (NIST AI 600-1) aborda os riscos específicos da GenAI.", "Voluntário e flexível: pensado para se adaptar, não para se certificar.", "Combina bem com a ISO/IEC 42001 (sistema de gestão) e o EU AI Act (lei)." ], "controls": [ { "control": "Governar", "note": "Estabeleça as políticas, a prestação de contas, a cultura e os papéis que tornam a gestão de riscos real: a base sobre a qual as demais funções se apoiam." }, { "control": "Mapear", "note": "Estabeleça o contexto: uso pretendido, partes interessadas, e os riscos e impactos do sistema de IA antes de construir." }, { "control": "Medir", "note": "Use métodos quantitativos e qualitativos para avaliar, comparar e monitorar o risco e a confiabilidade: você não gere o que não mede." }, { "control": "Gerir", "note": "Priorize, responda e acompanhe os riscos ao longo do tempo, incluindo resposta a incidentes e descomissionamento." }, { "control": "Características de confiabilidade", "note": "Direcione para resultados válidos, seguros, responsáveis, explicáveis, com privacidade reforçada e justos como metas de design explícitas." } ], "checklist": [ "Coloque em marcha a função Governar: política, prestação de contas e papéis.", "Mapeie o contexto, o uso pretendido, as partes interessadas e os riscos de cada sistema.", "Defina métricas e Meça validade, segurança, viés e robustez.", "Gerencie: priorize riscos, planeje respostas e acompanhe ao longo do tempo.", "Aplique o Perfil de IA Generativa para os sistemas de GenAI.", "Estabeleça resposta a incidentes e monitoramento para os sistemas implantados.", "Mapeie o framework para suas obrigações sob a ISO 42001 e o EU AI Act." ], "pitfalls": [ "Fazer Mapear e Medir mas negligenciar Governar, de modo que nada é responsável.", "Medir o fácil em vez do que importa para a confiabilidade.", "Tratá-lo como uma lista de verificação em vez de uma prática contínua de risco.", "Ignorar o Perfil de IA Generativa para sistemas LLM e agênticos." ], "examples": [ "Uma equipe que usa Mapear para documentar o uso pretendido e as partes interessadas de um agente antes de construir.", "Um passo de Medir que compara um modelo em viés e robustez frente a um conjunto de avaliação.", "Um processo de Gerir com resposta a incidentes para um assistente de GenAI implantado." ], "faqs": [ { "q": "O NIST AI RMF é obrigatório?", "a": "Não. É um framework voluntário. Mas é amplamente adotado como linguagem comum e espinha dorsal para a gestão operacional do risco de IA, e frequentemente referenciado em políticas e compras." }, { "q": "Quais são as quatro funções?", "a": "Governar, Mapear, Medir e Gerir. Governar é transversal e sustenta as outras três, que percorrem o ciclo de vida da IA." }, { "q": "Como aborda a IA generativa?", "a": "Por meio do Perfil de IA Generativa complementar (NIST AI 600-1), que identifica riscos específicos da GenAI e ações sugeridas mapeadas para as quatro funções." } ] } } }, { "id": "GOV-004", "slug": "agentic-ai-governance-checklist", "category": "playbook", "updated": "2026-06-21", "version": "1.0", "url": "https://santismm.com/en/governance/agentic-ai-governance-checklist", "api": "https://santismm.com/api/governance/agentic-ai-governance-checklist", "evidence": { "evidenceLevel": "industry_observation", "confidenceLevel": "medium", "sourceType": [ "industry_observation", "personal_experience" ] }, "frameworks": [ "EU AI Act", "ISO/IEC 42001", "NIST AI RMF" ], "patterns": [ "human-approval-gate", "evaluator-optimizer", "reflection", "routing" ], "knowledge": [ "ai-governance", "guardrails", "human-in-the-loop", "ai-observability", "agentic-evaluation", "prompt-injection" ], "references": [ { "title": "NIST — AI Risk Management Framework (AI RMF 1.0)", "url": "https://www.nist.gov/itl/ai-risk-management-framework" }, { "title": "EU AI Act — Article 14 (Human oversight)", "url": "https://artificialintelligenceact.eu/article/14/" }, { "title": "OWASP — Top 10 for LLM Applications", "url": "https://owasp.org/www-project-top-10-for-large-language-model-applications/" } ], "related": [ "eu-ai-act", "iso-42001", "nist-ai-rmf" ], "locales": { "en": { "name": "Agentic AI Governance Checklist", "summary": "A practical, vendor-neutral checklist for governing agentic AI in the enterprise — translating the principles of the EU AI Act, ISO/IEC 42001 and NIST AI RMF into concrete controls you can implement in a harness. It covers human oversight, guardrails, audit logging, evaluation, access control, prompt-injection defence and incident response, and maps each control to the patterns and knowledge units that operationalize it. Use it as a readiness gate before letting an agent act in production.", "definition": "The agentic AI governance checklist is an operational control set that turns AI governance frameworks into concrete, implementable requirements for autonomous agents acting in production.", "scope": "Teams building or deploying autonomous or semi-autonomous agents that use tools, act on systems, or make consequential decisions. It is a practical companion to the formal frameworks, not a substitute for legal advice.", "keyPoints": [ "Human oversight by risk: gate high-impact, irreversible or regulated actions for human approval.", "Guardrails on inputs and outputs, including prompt-injection and PII defence.", "Full audit logging and observability so every action is traceable.", "Evaluation before and after deployment, against a maintained eval set.", "Least-privilege access for tools and data the agent can reach.", "A defined incident response and kill-switch for agents in production." ], "controls": [ { "control": "Human approval gates", "note": "Route high-impact actions through a human checkpoint (EU AI Act Art. 14). Implements the human-approval-gate pattern." }, { "control": "Guardrails", "note": "Validate and constrain inputs and outputs; defend against prompt injection and block out-of-policy actions." }, { "control": "Audit logging & observability", "note": "Trace every decision, tool call and action so the agent is reviewable and incidents are reconstructable." }, { "control": "Evaluation harness", "note": "Score behaviour against an eval set before shipping and monitor for regressions after — NIST 'Measure'." }, { "control": "Least-privilege access", "note": "Scope the tools, data and permissions an agent can reach to the minimum its task requires." }, { "control": "Incident response & kill-switch", "note": "Define how to detect, stop and remediate a misbehaving agent, including a way to halt it immediately." } ], "checklist": [ "Classify the agent's risk and identify which actions need human approval.", "Implement guardrails for inputs/outputs and prompt-injection defence.", "Enable end-to-end audit logging and observability.", "Stand up an evaluation set and run it pre-deployment and continuously.", "Apply least-privilege scoping to tools, data and credentials.", "Define incident response, monitoring thresholds and a kill-switch.", "Map each control to your obligations under the EU AI Act, ISO 42001 and NIST AI RMF.", "Document ownership and review the agent on a schedule." ], "pitfalls": [ "Granting an agent broad tool/data access 'to be safe', creating a large blast radius.", "Gating everything (approval fatigue) or nothing (no oversight) instead of gating by risk.", "Shipping without an eval set, so quality and safety are unmeasured.", "No kill-switch or incident plan when an agent misbehaves in production.", "Ignoring prompt injection as an attack surface for tool-using agents." ], "productionEvidence": { "context": "Teams putting an autonomous or semi-autonomous agent into production where it uses tools and takes consequential actions.", "scenario": "Before go-live, the team runs the checklist as a readiness gate: classify the agent's risk, gate high-impact actions for human approval, add guardrails and prompt-injection defence, enable audit logging and observability, stand up an evaluation set, scope least-privilege access, and define incident response and a kill-switch.", "technology": "A harness combining a human-approval gate, guardrails, audit logging/observability, an evaluation harness and scoped tool/credential access.", "load": "Applied per agent before deployment and re-reviewed on a schedule; the heaviest control (human approval) is reserved for the small set of high-impact actions.", "results": "Observed pattern: teams that gate by risk, enforce least privilege and instrument from day one contain the blast radius of agent errors; those that grant broad access 'to be safe' or ship without evals discover failures in production. Measure escalation appropriateness, false-action rate and mean time to detect." }, "lessons": [ "Treat the checklist as a readiness gate, not a one-time audit — re-run it as the agent's tools and autonomy grow.", "Least-privilege access and risk-based human approval bound the blast radius more than any single guardrail.", "Without an evaluation set and audit logging in place before launch, you cannot tell a safe agent from a lucky one.", "Map each control to a concrete owner; governance without accountability is just documentation." ], "examples": [ "An agent whose refund action is gated for human approval while read-only lookups run freely.", "A guardrail blocking a prompt-injected instruction to exfiltrate data via a tool.", "An evaluation run catching a safety regression before an agent update ships." ], "faqs": [ { "q": "Is this a substitute for the EU AI Act or ISO 42001?", "a": "No. It is a practical control set that operationalizes their principles for agents. Use it alongside the formal frameworks and legal advice, not instead of them." }, { "q": "Which control matters most for autonomous agents?", "a": "Risk-based human oversight plus least-privilege access and audit logging — together they bound what an agent can do and make every action accountable." }, { "q": "How does it connect to the patterns library?", "a": "Each control maps to patterns that implement it — human-approval-gate for oversight, reflection and evaluator-optimizer for quality — and to knowledge units like guardrails and AI observability." } ] }, "es": { "name": "Checklist de Gobernanza de IA Agéntica", "summary": "Un checklist práctico y neutral para gobernar la IA agéntica en la empresa, que traduce los principios del EU AI Act, ISO/IEC 42001 y NIST AI RMF en controles concretos que puedes implementar en un harness. Cubre supervisión humana, guardarraíles, registro de auditoría, evaluación, control de acceso, defensa frente a inyección de prompts y respuesta a incidentes, y mapea cada control a los patrones y unidades de conocimiento que lo operacionalizan. Úsalo como puerta de preparación antes de dejar que un agente actúe en producción.", "definition": "El checklist de gobernanza de IA agéntica es un conjunto de controles operativos que convierte los marcos de gobernanza de IA en requisitos concretos e implementables para agentes autónomos que actúan en producción.", "scope": "Equipos que construyen o despliegan agentes autónomos o semiautónomos que usan herramientas, actúan sobre sistemas o toman decisiones de consecuencia. Es un compañero práctico de los marcos formales, no un sustituto del asesoramiento legal.", "keyPoints": [ "Supervisión humana por riesgo: pon puertas de aprobación a las acciones de alto impacto, irreversibles o reguladas.", "Guardarraíles en entradas y salidas, incluyendo defensa frente a inyección de prompts y PII.", "Registro de auditoría y observabilidad completos para que cada acción sea trazable.", "Evaluación antes y después del despliegue, contra un conjunto de evaluación mantenido.", "Acceso de mínimo privilegio a las herramientas y datos que el agente puede alcanzar.", "Una respuesta a incidentes y un interruptor de parada definidos para los agentes en producción." ], "controls": [ { "control": "Puertas de aprobación humana", "note": "Enruta las acciones de alto impacto por un punto de control humano (Art. 14 del EU AI Act). Implementa el patrón de puerta de aprobación humana." }, { "control": "Guardarraíles", "note": "Valida y restringe entradas y salidas; defiende frente a la inyección de prompts y bloquea acciones fuera de política." }, { "control": "Registro de auditoría y observabilidad", "note": "Traza cada decisión, llamada a herramienta y acción para que el agente sea revisable y los incidentes reconstruibles." }, { "control": "Arnés de evaluación", "note": "Puntúa el comportamiento frente a un conjunto de evaluación antes de desplegar y monitoriza regresiones después: el 'Medir' del NIST." }, { "control": "Acceso de mínimo privilegio", "note": "Acota las herramientas, los datos y los permisos que un agente puede alcanzar al mínimo que su tarea requiere." }, { "control": "Respuesta a incidentes e interruptor de parada", "note": "Define cómo detectar, detener y remediar un agente que se comporta mal, incluyendo una forma de pararlo de inmediato." } ], "checklist": [ "Clasifica el riesgo del agente e identifica qué acciones necesitan aprobación humana.", "Implementa guardarraíles para entradas/salidas y defensa frente a inyección de prompts.", "Habilita registro de auditoría y observabilidad de extremo a extremo.", "Monta un conjunto de evaluación y ejecútalo antes del despliegue y de forma continua.", "Aplica mínimo privilegio a herramientas, datos y credenciales.", "Define respuesta a incidentes, umbrales de monitorización y un interruptor de parada.", "Mapea cada control a tus obligaciones bajo el EU AI Act, ISO 42001 y NIST AI RMF.", "Documenta la responsabilidad y revisa el agente de forma periódica." ], "pitfalls": [ "Dar a un agente amplio acceso a herramientas/datos 'por si acaso', creando un gran radio de impacto.", "Poner puertas a todo (fatiga de aprobación) o a nada (sin supervisión) en vez de hacerlo por riesgo.", "Desplegar sin un conjunto de evaluación, dejando calidad y seguridad sin medir.", "No tener interruptor de parada ni plan de incidentes cuando un agente se comporta mal en producción.", "Ignorar la inyección de prompts como superficie de ataque para agentes con herramientas." ], "productionEvidence": { "context": "Equipos que ponen en producción un agente autónomo o semiautónomo que usa herramientas y toma acciones de consecuencia.", "scenario": "Antes del lanzamiento, el equipo ejecuta el checklist como puerta de preparación: clasifica el riesgo del agente, pone puertas de aprobación humana a las acciones de alto impacto, añade guardarraíles y defensa frente a inyección de prompts, habilita registro de auditoría y observabilidad, monta un conjunto de evaluación, acota el acceso de mínimo privilegio y define respuesta a incidentes y un interruptor de parada.", "technology": "Un harness que combina una puerta de aprobación humana, guardarraíles, registro de auditoría/observabilidad, un arnés de evaluación y acceso acotado a herramientas y credenciales.", "load": "Se aplica por agente antes del despliegue y se revisa de forma periódica; el control más pesado (aprobación humana) se reserva para el pequeño conjunto de acciones de alto impacto.", "results": "Patrón observado: los equipos que ponen puertas por riesgo, aplican mínimo privilegio e instrumentan desde el día uno contienen el radio de impacto de los errores del agente; los que dan acceso amplio 'por si acaso' o despliegan sin evaluaciones descubren los fallos en producción. Mide la idoneidad del escalado, la tasa de acciones erróneas y el tiempo medio de detección." }, "lessons": [ "Trata el checklist como una puerta de preparación, no como una auditoría puntual: vuelve a ejecutarlo a medida que crecen las herramientas y la autonomía del agente.", "El acceso de mínimo privilegio y la aprobación humana basada en riesgo acotan el radio de impacto más que cualquier guardarraíl aislado.", "Sin un conjunto de evaluación y registro de auditoría antes del lanzamiento, no puedes distinguir un agente seguro de uno con suerte.", "Asigna cada control a un responsable concreto; la gobernanza sin rendición de cuentas es solo documentación." ], "examples": [ "Un agente cuya acción de reembolso tiene puerta de aprobación humana mientras las consultas de solo lectura corren libres.", "Un guardarraíl que bloquea una instrucción inyectada para exfiltrar datos mediante una herramienta.", "Una ejecución de evaluación que detecta una regresión de seguridad antes de desplegar una actualización del agente." ], "faqs": [ { "q": "¿Esto sustituye al EU AI Act o a ISO 42001?", "a": "No. Es un conjunto de controles práctico que operacionaliza sus principios para agentes. Úsalo junto a los marcos formales y al asesoramiento legal, no en su lugar." }, { "q": "¿Qué control importa más para los agentes autónomos?", "a": "La supervisión humana basada en riesgo más el acceso de mínimo privilegio y el registro de auditoría: juntos acotan lo que un agente puede hacer y hacen cada acción responsable." }, { "q": "¿Cómo conecta con la biblioteca de patrones?", "a": "Cada control mapea a patrones que lo implementan —puerta de aprobación humana para la supervisión, reflexión y evaluador-optimizador para la calidad— y a unidades de conocimiento como guardarraíles y observabilidad de IA." } ] }, "pt": { "name": "Checklist de Governança de IA Agêntica", "summary": "Um checklist prático e neutro para governar a IA agêntica na empresa, que traduz os princípios do EU AI Act, ISO/IEC 42001 e NIST AI RMF em controles concretos que você pode implementar num harness. Cobre supervisão humana, guard-rails, registro de auditoria, avaliação, controle de acesso, defesa contra injeção de prompts e resposta a incidentes, e mapeia cada controle aos padrões e unidades de conhecimento que o operacionalizam. Use-o como portão de prontidão antes de deixar um agente agir em produção.", "definition": "O checklist de governança de IA agêntica é um conjunto de controles operacionais que transforma os frameworks de governança de IA em requisitos concretos e implementáveis para agentes autônomos que agem em produção.", "scope": "Equipes que constroem ou implantam agentes autônomos ou semiautônomos que usam ferramentas, agem sobre sistemas ou tomam decisões consequentes. É um companheiro prático dos frameworks formais, não um substituto de aconselhamento jurídico.", "keyPoints": [ "Supervisão humana por risco: coloque portões de aprovação nas ações de alto impacto, irreversíveis ou reguladas.", "Guard-rails em entradas e saídas, incluindo defesa contra injeção de prompts e PII.", "Registro de auditoria e observabilidade completos para que cada ação seja rastreável.", "Avaliação antes e depois da implantação, contra um conjunto de avaliação mantido.", "Acesso de menor privilégio às ferramentas e dados que o agente pode alcançar.", "Uma resposta a incidentes e um interruptor de parada definidos para os agentes em produção." ], "controls": [ { "control": "Portões de aprovação humana", "note": "Roteie as ações de alto impacto por um ponto de controle humano (Art. 14 do EU AI Act). Implementa o padrão de portão de aprovação humana." }, { "control": "Guard-rails", "note": "Valide e restrinja entradas e saídas; defenda contra a injeção de prompts e bloqueie ações fora da política." }, { "control": "Registro de auditoria e observabilidade", "note": "Rastreie cada decisão, chamada de ferramenta e ação para que o agente seja revisável e os incidentes reconstruíveis." }, { "control": "Harness de avaliação", "note": "Pontue o comportamento contra um conjunto de avaliação antes de implantar e monitore regressões depois: o 'Medir' do NIST." }, { "control": "Acesso de menor privilégio", "note": "Restrinja as ferramentas, os dados e as permissões que um agente pode alcançar ao mínimo que sua tarefa requer." }, { "control": "Resposta a incidentes e interruptor de parada", "note": "Defina como detectar, parar e remediar um agente que se comporta mal, incluindo uma forma de pará-lo imediatamente." } ], "checklist": [ "Classifique o risco do agente e identifique quais ações precisam de aprovação humana.", "Implemente guard-rails para entradas/saídas e defesa contra injeção de prompts.", "Habilite registro de auditoria e observabilidade ponta a ponta.", "Monte um conjunto de avaliação e execute-o antes da implantação e continuamente.", "Aplique menor privilégio a ferramentas, dados e credenciais.", "Defina resposta a incidentes, limiares de monitoramento e um interruptor de parada.", "Mapeie cada controle para suas obrigações sob o EU AI Act, ISO 42001 e NIST AI RMF.", "Documente a responsabilidade e revise o agente periodicamente." ], "pitfalls": [ "Dar a um agente amplo acesso a ferramentas/dados 'por precaução', criando um grande raio de impacto.", "Colocar portões em tudo (fadiga de aprovação) ou em nada (sem supervisão) em vez de fazê-lo por risco.", "Implantar sem um conjunto de avaliação, deixando qualidade e segurança sem medição.", "Não ter interruptor de parada nem plano de incidentes quando um agente se comporta mal em produção.", "Ignorar a injeção de prompts como superfície de ataque para agentes com ferramentas." ], "productionEvidence": { "context": "Equipes que colocam em produção um agente autônomo ou semiautônomo que usa ferramentas e toma ações consequentes.", "scenario": "Antes do go-live, a equipe executa o checklist como portão de prontidão: classifica o risco do agente, coloca portões de aprovação humana nas ações de alto impacto, adiciona guard-rails e defesa contra injeção de prompts, habilita registro de auditoria e observabilidade, monta um conjunto de avaliação, restringe o acesso de menor privilégio e define resposta a incidentes e um interruptor de parada.", "technology": "Um harness que combina um portão de aprovação humana, guard-rails, registro de auditoria/observabilidade, um harness de avaliação e acesso restrito a ferramentas e credenciais.", "load": "Aplicado por agente antes da implantação e revisado periodicamente; o controle mais pesado (aprovação humana) é reservado para o pequeno conjunto de ações de alto impacto.", "results": "Padrão observado: equipes que colocam portões por risco, aplicam menor privilégio e instrumentam desde o dia um contêm o raio de impacto dos erros do agente; as que dão acesso amplo 'por precaução' ou implantam sem avaliações descobrem as falhas em produção. Meça a adequação do escalonamento, a taxa de ações erradas e o tempo médio de detecção." }, "lessons": [ "Trate o checklist como um portão de prontidão, não como uma auditoria pontual: execute-o novamente à medida que as ferramentas e a autonomia do agente crescem.", "O acesso de menor privilégio e a aprovação humana baseada em risco limitam o raio de impacto mais do que qualquer guard-rail isolado.", "Sem um conjunto de avaliação e registro de auditoria antes do lançamento, você não distingue um agente seguro de um com sorte.", "Atribua cada controle a um responsável concreto; governança sem prestação de contas é só documentação." ], "examples": [ "Um agente cuja ação de reembolso tem portão de aprovação humana enquanto as consultas somente leitura correm livres.", "Um guard-rail que bloqueia uma instrução injetada para exfiltrar dados via uma ferramenta.", "Uma execução de avaliação que detecta uma regressão de segurança antes de implantar uma atualização do agente." ], "faqs": [ { "q": "Isto substitui o EU AI Act ou a ISO 42001?", "a": "Não. É um conjunto de controles prático que operacionaliza seus princípios para agentes. Use-o junto aos frameworks formais e ao aconselhamento jurídico, não no lugar deles." }, { "q": "Qual controle importa mais para os agentes autônomos?", "a": "A supervisão humana baseada em risco mais o acesso de menor privilégio e o registro de auditoria: juntos limitam o que um agente pode fazer e tornam cada ação responsável." }, { "q": "Como conecta com a biblioteca de padrões?", "a": "Cada controle mapeia para padrões que o implementam —portão de aprovação humana para a supervisão, reflexão e avaliador-otimizador para a qualidade— e para unidades de conhecimento como guard-rails e observabilidade de IA." } ] } } }, { "id": "GOV-005", "slug": "enterprise-ai-governance-framework", "category": "framework", "updated": "2026-06-21", "version": "1.0", "url": "https://santismm.com/en/governance/enterprise-ai-governance-framework", "api": "https://santismm.com/api/governance/enterprise-ai-governance-framework", "evidence": { "evidenceLevel": "industry_observation", "confidenceLevel": "high", "sourceType": [ "industry_observation", "paper" ] }, "frameworks": [ "EU AI Act", "ISO/IEC 42001", "NIST AI RMF" ], "patterns": [ "human-approval-gate" ], "knowledge": [ "ai-governance" ], "references": [ { "title": "NIST — AI Risk Management Framework (AI RMF 1.0)", "url": "https://www.nist.gov/itl/ai-risk-management-framework" }, { "title": "ISO/IEC 42001:2023 — Artificial intelligence management system", "url": "https://www.iso.org/standard/81230.html" }, { "title": "OECD AI Principles", "url": "https://oecd.ai/en/ai-principles" } ], "related": [ "agentic-ai-governance-checklist", "eu-ai-act", "iso-42001", "nist-ai-rmf" ], "locales": { "en": { "name": "Enterprise AI Governance Framework", "summary": "An umbrella operating model for governing AI across an organization. It defines the principles, accountability (RACI), AI risk taxonomy, lifecycle gates and policy hierarchy that keep AI use lawful, safe and aligned with risk appetite. It harmonizes the EU AI Act, ISO/IEC 42001 and NIST AI RMF into one internal program — comply once, reuse everywhere — and composes the agentic governance checklist as its concrete control set. Use it to give every production AI system a named owner, a risk tier and a gate that can actually block a non-compliant deployment.", "definition": "An enterprise AI governance framework is the system of principles, roles, processes and controls by which an organization directs and controls how it builds, procures and operates AI so that AI use stays lawful, safe, effective and aligned with its risk appetite.", "scope": "Boards, AI governance committees, risk and compliance officers, and the product and engineering leaders who build and operate AI across the enterprise. It is an internal operating model that maps to named regulations and standards, not legal advice or a substitute for qualified counsel.", "keyPoints": [ "Principles first: lawfulness, accountability, human oversight, transparency, fairness, safety and privacy by design anchor every policy.", "RACI accountability: every governance activity has a clear Responsible, Accountable, Consulted and Informed map, and every production system has one named owner.", "A risk taxonomy tiers use cases (unacceptable, high, limited, minimal) so control intensity is proportional to risk.", "Lifecycle gates attach entry and exit checks to each stage, from propose through retire.", "A policy hierarchy traces principles to policies, standards and concrete controls with named owners.", "Comply once, reuse everywhere: external obligations map to internal controls a single time and are shared across regimes." ], "controls": [ { "control": "AI governance committee with a charter", "note": "A standing body with published decision rights sets risk appetite and policy, so accountability is structural rather than ad hoc." }, { "control": "Named accountable system owner", "note": "Every production AI system has one human owner; this is the control most associated with incidents being caught and answered." }, { "control": "Risk-tiering procedure and central register", "note": "A documented taxonomy classifies each use case before build and records it in an inventory, surfacing shadow AI and calibrating controls." }, { "control": "Lifecycle entry and exit gates", "note": "Each stage from propose to retire has gates scaled to risk tier; an enforceable gate can block a non-compliant deployment." }, { "control": "Policy hierarchy mapped to controls", "note": "Principles trace to policies, standards and concrete controls so obligations are operational, not aspirational." }, { "control": "Independent audit and assurance", "note": "Periodic independent review tests that gates and controls actually hold, closing the loop back to the committee." } ], "checklist": [ "Stand up an AI governance committee with a published charter and decision rights.", "Define the seven governing principles and trace every policy back to them.", "Publish a risk taxonomy with tiers and enumerate prohibited use cases blocked at intake.", "Build a central register of all AI systems with their tier and named owner.", "Attach entry and exit gates to each lifecycle stage, scaled to risk tier.", "Map the EU AI Act, ISO/IEC 42001 and NIST AI RMF to internal controls once and reuse them.", "Adopt the agentic governance checklist as the concrete control set for high-risk systems.", "Schedule re-tiering and independent audit on a recurring cadence." ], "pitfalls": [ "Governance as paperwork: policies exist but no gate can actually block a non-compliant deployment.", "No accountable owner: systems ship with diffuse ownership and no one is answerable when they fail.", "Uniform controls: every system gets the same heavyweight process, so teams route around governance.", "Shadow AI: systems are built outside the register and stay invisible to risk.", "Static tiering: a use case's risk is set once and never re-evaluated as autonomy or scope grows." ], "examples": [ "A regulated enterprise routes every new agent through a tier-based intake gate before any build begins.", "A high-risk customer-facing system gets the full control set and independent audit while a minimal-risk internal tool follows baseline hygiene only.", "EU AI Act, ISO/IEC 42001 and NIST AI RMF obligations are mapped to one internal control library and reused across the portfolio." ], "faqs": [ { "q": "Is this framework legal advice?", "a": "No. It is a professional operating model that maps to named regulations and standards. Consult qualified counsel for binding compliance decisions." }, { "q": "How does it relate to the agentic governance checklist and the specific regimes?", "a": "This framework owns the structure — principles, roles, taxonomy and gates — and composes the EU AI Act, ISO/IEC 42001 and NIST AI RMF and the agentic checklist as its concrete controls." }, { "q": "What is the single highest-leverage element?", "a": "An enforceable gate plus a named accountable owner per system. Un-enforced policy is routed around within a quarter, and diffuse ownership means no one answers when a system fails." } ] }, "es": { "name": "Marco de Gobernanza de IA Empresarial", "summary": "Un modelo operativo paraguas para gobernar la IA en toda la organización. Define los principios, la rendición de cuentas (RACI), la taxonomía de riesgo de IA, las puertas de ciclo de vida y la jerarquía de políticas que mantienen el uso de IA legal, seguro y alineado con el apetito de riesgo. Armoniza el EU AI Act, ISO/IEC 42001 y NIST AI RMF en un único programa interno —cumple una vez, reutiliza en todas partes— y compone el checklist de gobernanza agéntica como su conjunto concreto de controles. Úsalo para dar a cada sistema de IA en producción un responsable nombrado, un nivel de riesgo y una puerta que pueda realmente bloquear un despliegue no conforme.", "definition": "Un marco de gobernanza de IA empresarial es el sistema de principios, roles, procesos y controles con el que una organización dirige y controla cómo construye, adquiere y opera la IA para que su uso siga siendo legal, seguro, eficaz y alineado con su apetito de riesgo.", "scope": "Consejos de administración, comités de gobernanza de IA, responsables de riesgo y cumplimiento, y los líderes de producto e ingeniería que construyen y operan la IA en la empresa. Es un modelo operativo interno que mapea a regulaciones y estándares nombrados, no asesoramiento legal ni un sustituto del asesoramiento de un profesional cualificado.", "keyPoints": [ "Los principios primero: legalidad, rendición de cuentas, supervisión humana, transparencia, equidad, seguridad y privacidad por diseño anclan cada política.", "Rendición de cuentas RACI: cada actividad de gobernanza tiene un mapa claro de Responsable, Aprobador, Consultado e Informado, y cada sistema en producción tiene un responsable nombrado.", "Una taxonomía de riesgo clasifica los casos de uso (inaceptable, alto, limitado, mínimo) para que la intensidad del control sea proporcional al riesgo.", "Las puertas de ciclo de vida añaden controles de entrada y salida a cada etapa, desde proponer hasta retirar.", "Una jerarquía de políticas traza los principios a políticas, estándares y controles concretos con responsables nombrados.", "Cumple una vez, reutiliza en todas partes: las obligaciones externas se mapean a controles internos una sola vez y se comparten entre regímenes." ], "controls": [ { "control": "Comité de gobernanza de IA con un estatuto", "note": "Un órgano permanente con derechos de decisión publicados fija el apetito de riesgo y la política, de modo que la rendición de cuentas sea estructural y no ad hoc." }, { "control": "Responsable nombrado del sistema", "note": "Cada sistema de IA en producción tiene un responsable humano; este es el control más asociado con que los incidentes se detecten y respondan." }, { "control": "Procedimiento de tiering de riesgo y registro central", "note": "Una taxonomía documentada clasifica cada caso de uso antes de construir y lo registra en un inventario, sacando a la luz la IA en la sombra y calibrando los controles." }, { "control": "Puertas de entrada y salida del ciclo de vida", "note": "Cada etapa, de proponer a retirar, tiene puertas escaladas al nivel de riesgo; una puerta exigible puede bloquear un despliegue no conforme." }, { "control": "Jerarquía de políticas mapeada a controles", "note": "Los principios se trazan a políticas, estándares y controles concretos para que las obligaciones sean operativas, no aspiracionales." }, { "control": "Auditoría y aseguramiento independientes", "note": "Una revisión independiente periódica comprueba que las puertas y los controles realmente se sostienen, cerrando el ciclo de vuelta al comité." } ], "checklist": [ "Pon en marcha un comité de gobernanza de IA con un estatuto publicado y derechos de decisión.", "Define los siete principios rectores y traza cada política de vuelta a ellos.", "Publica una taxonomía de riesgo con niveles y enumera los casos de uso prohibidos bloqueados en la entrada.", "Construye un registro central de todos los sistemas de IA con su nivel y responsable nombrado.", "Añade puertas de entrada y salida a cada etapa del ciclo de vida, escaladas al nivel de riesgo.", "Mapea el EU AI Act, ISO/IEC 42001 y NIST AI RMF a controles internos una vez y reutilízalos.", "Adopta el checklist de gobernanza agéntica como conjunto concreto de controles para los sistemas de alto riesgo.", "Programa el re-tiering y la auditoría independiente con una cadencia recurrente." ], "pitfalls": [ "Gobernanza como papeleo: las políticas existen pero ninguna puerta puede realmente bloquear un despliegue no conforme.", "Sin responsable nombrado: los sistemas se lanzan con propiedad difusa y nadie responde cuando fallan.", "Controles uniformes: cada sistema recibe el mismo proceso pesado, así que los equipos esquivan la gobernanza.", "IA en la sombra: los sistemas se construyen fuera del registro y permanecen invisibles para el riesgo.", "Tiering estático: el riesgo de un caso de uso se fija una vez y nunca se reevalúa a medida que crecen su autonomía o alcance." ], "examples": [ "Una empresa regulada enruta cada nuevo agente por una puerta de entrada basada en niveles antes de que comience cualquier construcción.", "Un sistema de alto riesgo orientado al cliente recibe el conjunto completo de controles y auditoría independiente, mientras una herramienta interna de riesgo mínimo sigue solo la higiene básica.", "Las obligaciones del EU AI Act, ISO/IEC 42001 y NIST AI RMF se mapean a una única biblioteca de controles interna y se reutilizan en todo el portafolio." ], "faqs": [ { "q": "¿Este marco es asesoramiento legal?", "a": "No. Es un modelo operativo profesional que mapea a regulaciones y estándares nombrados. Consulta a un profesional cualificado para decisiones de cumplimiento vinculantes." }, { "q": "¿Cómo se relaciona con el checklist de gobernanza agéntica y los regímenes específicos?", "a": "Este marco posee la estructura —principios, roles, taxonomía y puertas— y compone el EU AI Act, ISO/IEC 42001 y NIST AI RMF y el checklist agéntico como sus controles concretos." }, { "q": "¿Cuál es el elemento de mayor palanca?", "a": "Una puerta exigible más un responsable nombrado por sistema. La política no exigida se esquiva en un trimestre, y la propiedad difusa significa que nadie responde cuando un sistema falla." } ] }, "pt": { "name": "Framework de Governança de IA Empresarial", "summary": "Um modelo operacional guarda-chuva para governar a IA em toda a organização. Define os princípios, a prestação de contas (RACI), a taxonomia de risco de IA, os portões de ciclo de vida e a hierarquia de políticas que mantêm o uso de IA legal, seguro e alinhado ao apetite de risco. Harmoniza o EU AI Act, ISO/IEC 42001 e NIST AI RMF num único programa interno —cumpra uma vez, reutilize em todo lugar— e compõe o checklist de governança agêntica como seu conjunto concreto de controles. Use-o para dar a cada sistema de IA em produção um responsável nomeado, um nível de risco e um portão que possa de fato bloquear uma implantação não conforme.", "definition": "Um framework de governança de IA empresarial é o sistema de princípios, papéis, processos e controles pelo qual uma organização dirige e controla como constrói, adquire e opera a IA para que seu uso permaneça legal, seguro, eficaz e alinhado ao seu apetite de risco.", "scope": "Conselhos de administração, comitês de governança de IA, responsáveis por risco e conformidade, e os líderes de produto e engenharia que constroem e operam a IA na empresa. É um modelo operacional interno que mapeia para regulamentos e padrões nomeados, não aconselhamento jurídico nem um substituto de aconselhamento de um profissional qualificado.", "keyPoints": [ "Princípios primeiro: legalidade, prestação de contas, supervisão humana, transparência, equidade, segurança e privacidade desde a concepção ancoram cada política.", "Prestação de contas RACI: cada atividade de governança tem um mapa claro de Responsável, Aprovador, Consultado e Informado, e cada sistema em produção tem um responsável nomeado.", "Uma taxonomia de risco classifica os casos de uso (inaceitável, alto, limitado, mínimo) para que a intensidade do controle seja proporcional ao risco.", "Os portões de ciclo de vida adicionam verificações de entrada e saída a cada etapa, de propor a aposentar.", "Uma hierarquia de políticas rastreia os princípios para políticas, padrões e controles concretos com responsáveis nomeados.", "Cumpra uma vez, reutilize em todo lugar: as obrigações externas mapeiam para controles internos uma única vez e são compartilhadas entre regimes." ], "controls": [ { "control": "Comitê de governança de IA com um estatuto", "note": "Um órgão permanente com direitos de decisão publicados define o apetite de risco e a política, para que a prestação de contas seja estrutural e não ad hoc." }, { "control": "Responsável nomeado pelo sistema", "note": "Cada sistema de IA em produção tem um responsável humano; este é o controle mais associado a incidentes serem detectados e respondidos." }, { "control": "Procedimento de tiering de risco e registro central", "note": "Uma taxonomia documentada classifica cada caso de uso antes de construir e o registra num inventário, revelando a IA na sombra e calibrando os controles." }, { "control": "Portões de entrada e saída do ciclo de vida", "note": "Cada etapa, de propor a aposentar, tem portões escalados ao nível de risco; um portão exigível pode bloquear uma implantação não conforme." }, { "control": "Hierarquia de políticas mapeada para controles", "note": "Os princípios são rastreados para políticas, padrões e controles concretos para que as obrigações sejam operacionais, não aspiracionais." }, { "control": "Auditoria e garantia independentes", "note": "Uma revisão independente periódica verifica que os portões e controles realmente se sustentam, fechando o ciclo de volta ao comitê." } ], "checklist": [ "Estabeleça um comitê de governança de IA com um estatuto publicado e direitos de decisão.", "Defina os sete princípios norteadores e rastreie cada política de volta a eles.", "Publique uma taxonomia de risco com níveis e enumere os casos de uso proibidos bloqueados na entrada.", "Construa um registro central de todos os sistemas de IA com seu nível e responsável nomeado.", "Adicione portões de entrada e saída a cada etapa do ciclo de vida, escalados ao nível de risco.", "Mapeie o EU AI Act, ISO/IEC 42001 e NIST AI RMF para controles internos uma vez e reutilize-os.", "Adote o checklist de governança agêntica como conjunto concreto de controles para os sistemas de alto risco.", "Programe o re-tiering e a auditoria independente numa cadência recorrente." ], "pitfalls": [ "Governança como papelada: as políticas existem mas nenhum portão pode de fato bloquear uma implantação não conforme.", "Sem responsável nomeado: os sistemas são lançados com propriedade difusa e ninguém responde quando falham.", "Controles uniformes: cada sistema recebe o mesmo processo pesado, então as equipes contornam a governança.", "IA na sombra: os sistemas são construídos fora do registro e permanecem invisíveis ao risco.", "Tiering estático: o risco de um caso de uso é definido uma vez e nunca reavaliado à medida que sua autonomia ou escopo crescem." ], "examples": [ "Uma empresa regulada roteia cada novo agente por um portão de entrada baseado em níveis antes de qualquer construção começar.", "Um sistema de alto risco voltado ao cliente recebe o conjunto completo de controles e auditoria independente, enquanto uma ferramenta interna de risco mínimo segue apenas a higiene básica.", "As obrigações do EU AI Act, ISO/IEC 42001 e NIST AI RMF são mapeadas para uma única biblioteca de controles interna e reutilizadas em todo o portfólio." ], "faqs": [ { "q": "Este framework é aconselhamento jurídico?", "a": "Não. É um modelo operacional profissional que mapeia para regulamentos e padrões nomeados. Consulte um profissional qualificado para decisões de conformidade vinculantes." }, { "q": "Como se relaciona com o checklist de governança agêntica e os regimes específicos?", "a": "Este framework detém a estrutura —princípios, papéis, taxonomia e portões— e compõe o EU AI Act, ISO/IEC 42001 e NIST AI RMF e o checklist agêntico como seus controles concretos." }, { "q": "Qual é o elemento de maior alavancagem?", "a": "Um portão exigível mais um responsável nomeado por sistema. A política não exigida é contornada em um trimestre, e a propriedade difusa significa que ninguém responde quando um sistema falha." } ] } } }, { "id": "GOV-006", "slug": "audit-framework-for-agentic-systems", "category": "framework", "updated": "2026-06-21", "version": "1.0", "url": "https://santismm.com/en/governance/audit-framework-for-agentic-systems", "api": "https://santismm.com/api/governance/audit-framework-for-agentic-systems", "evidence": { "evidenceLevel": "industry_observation", "confidenceLevel": "medium", "sourceType": [ "industry_observation", "paper" ] }, "frameworks": [ "ISO/IEC 42001", "NIST AI RMF" ], "patterns": [ "human-approval-gate", "evaluator-optimizer" ], "knowledge": [ "ai-observability", "agentic-evaluation", "ai-governance" ], "references": [ { "title": "NIST — AI Risk Management Framework (AI RMF 1.0)", "url": "https://www.nist.gov/itl/ai-risk-management-framework" }, { "title": "ISO/IEC 42001:2023 — AI management systems", "url": "https://www.iso.org/standard/81230.html" }, { "title": "ISACA — Auditing Artificial Intelligence", "url": "https://www.isaca.org/resources/white-papers/2024/auditing-artificial-intelligence" } ], "related": [ "agentic-ai-governance-checklist", "nist-ai-rmf", "iso-42001" ], "locales": { "en": { "name": "Audit Framework for Agentic Systems", "summary": "A practical, vendor-neutral framework for making an agent auditable and for auditing it. It defines the evidence an independent reviewer needs — immutable, correlated traces of every decision and tool call, model and version provenance, evaluation reports, approval and incident records — and how to test controls and sample high-volume runs. Each evidence type maps to ISO/IEC 42001 and NIST AI RMF so an auditor can verify the agent stayed within its governed bounds. Use it to design auditability in from the start, not as an afterthought.", "definition": "An agent audit is an independent, evidence-based examination that determines whether an agentic system operated within its authorized scope, controls and policies over a defined period, and whether the governance claims made about it are supported by reliable evidence.", "scope": "Auditors, assurance and risk teams, and the system owners who must make their agents auditable by design. It applies to autonomous or semi-autonomous agents that use tools and act over time, and supports both internal assurance and external or regulatory audit. It is a practical companion to the formal frameworks, not a substitute for legal advice.", "keyPoints": [ "Auditability by design: the agent must emit enough structured evidence at runtime to reconstruct any run later.", "Every run produces an immutable, correlated trace: goal, each step and tool call with parameters and results, approvals, overrides and outcome.", "Evidence must be complete, attributable, time-stamped and tamper-evident to hold evidentiary value.", "Model and version provenance (prompt, tools, model) is captured per run so behaviour is tied to a known configuration.", "Sampling is layered: risk-stratified, statistical, and 100% review of all exceptions, overrides, denials and incidents.", "Audit evidence maps to ISO/IEC 42001 internal audit (Clause 9) and NIST AI RMF Measure and Manage functions." ], "controls": [ { "control": "Immutable audit logs and traceability", "note": "Capture a correlated trace per run — agent identity and version, goal, each step, tool call, result, approvals and outcome — and protect it against alteration. Implements AI observability." }, { "control": "Model and version provenance", "note": "Record the exact prompt, tool set and model version behind each run so behaviour is attributable to a known, reproducible-by-config baseline." }, { "control": "Evaluation evidence", "note": "Retain pre-deployment and ongoing evaluation reports and gate results so the auditor can verify safety and quality were measured — NIST 'Measure'." }, { "control": "Control testing and sampling", "note": "Test each control against evidence using a documented sampling methodology: risk-stratified, statistical, and full exception review." }, { "control": "Approval and incident records", "note": "Capture human approvals, overrides and incidents with actor identity and timestamps. Implements the human-approval-gate pattern." }, { "control": "Attestations and findings management", "note": "System and control owners sign attestations backed by evidence; findings are tracked to closure with severity and deadlines." } ], "checklist": [ "Confirm every agent run produces a complete, correlated trace tied by a stable trace ID.", "Verify logs are tamper-evident, time-stamped and retained for the full audit and regulatory window.", "Check that each run records model and version provenance (prompt, tools, model version).", "Retrieve a control mapping / Statement of Applicability linking each control to its evidence.", "Retain and review pre-deployment and ongoing evaluation reports and gate outcomes.", "Confirm approval, override and incident records exist with actor identity and timestamps.", "Apply a documented sampling methodology — risk-stratified, statistical, and 100% exception coverage.", "Track findings to closure with severity and deadlines, and collect signed owner attestations." ], "pitfalls": [ "Non-auditable agents: logging added as an afterthought, leaving gaps no audit can fill.", "Mutable logs: records that could be altered, destroying their evidentiary value.", "Sampling blind spots: random-only sampling that misses rare but catastrophic actions.", "Attestation without evidence: owners signing off on controls they cannot demonstrate.", "Findings graveyard: issues raised but never remediated or re-tested." ], "examples": [ "An auditor reconstructs a disputed refund by following its correlated trace from goal to tool call to human approval.", "A continuous-audit check alerts on a tool call outside the allow-list against the live log stream.", "Retained evaluation reports map to NIST AI RMF Measure, evidencing that safety gates passed before deployment." ], "faqs": [ { "q": "Can you audit a non-deterministic agent at all?", "a": "Yes — you audit the controls and the recorded behaviour, not the determinism. Complete, immutable traces make any specific run reconstructable even if it cannot be reproduced exactly." }, { "q": "How big should the audit sample be?", "a": "Large enough for your target assurance level statistically, plus 100% of exceptions and high-impact actions. Sampling never replaces full exception review." }, { "q": "How does audit evidence map to the frameworks?", "a": "Traces and logs support NIST AI RMF Measure and Manage and ISO/IEC 42001 Clause 9 internal audit; a control mapping or Statement of Applicability links each control to the evidence that proves it operated." } ] }, "es": { "name": "Marco de Auditoría para Sistemas Agénticos", "summary": "Un marco práctico y neutral para hacer un agente auditable y para auditarlo. Define la evidencia que necesita un revisor independiente —trazas inmutables y correlacionadas de cada decisión y llamada a herramienta, procedencia de modelo y versión, informes de evaluación, registros de aprobación e incidentes— y cómo probar controles y muestrear ejecuciones de alto volumen. Cada tipo de evidencia se mapea a ISO/IEC 42001 y NIST AI RMF para que un auditor pueda verificar que el agente se mantuvo dentro de sus límites gobernados. Úsalo para diseñar la auditabilidad desde el inicio, no como algo añadido después.", "definition": "Una auditoría de agente es un examen independiente y basado en evidencia que determina si un sistema agéntico operó dentro de su alcance, controles y políticas autorizados durante un periodo definido, y si las afirmaciones de gobernanza hechas sobre él se sustentan en evidencia fiable.", "scope": "Auditores, equipos de aseguramiento y de riesgo, y los responsables del sistema que deben hacer sus agentes auditables por diseño. Aplica a agentes autónomos o semiautónomos que usan herramientas y actúan a lo largo del tiempo, y da soporte tanto al aseguramiento interno como a la auditoría externa o regulatoria. Es un compañero práctico de los marcos formales, no un sustituto del asesoramiento legal.", "keyPoints": [ "Auditabilidad por diseño: el agente debe emitir suficiente evidencia estructurada en tiempo de ejecución para reconstruir cualquier ejecución después.", "Cada ejecución produce una traza inmutable y correlacionada: objetivo, cada paso y llamada a herramienta con parámetros y resultados, aprobaciones, anulaciones y resultado.", "La evidencia debe ser completa, atribuible, con marca de tiempo y a prueba de manipulación para tener valor probatorio.", "La procedencia de modelo y versión (prompt, herramientas, modelo) se captura por ejecución para que el comportamiento quede ligado a una configuración conocida.", "El muestreo es por capas: estratificado por riesgo, estadístico, y revisión al 100% de todas las excepciones, anulaciones, denegaciones e incidentes.", "La evidencia de auditoría se mapea a la auditoría interna de ISO/IEC 42001 (Cláusula 9) y a las funciones Medir y Gestionar de NIST AI RMF." ], "controls": [ { "control": "Registros de auditoría inmutables y trazabilidad", "note": "Captura una traza correlacionada por ejecución —identidad y versión del agente, objetivo, cada paso, llamada a herramienta, resultado, aprobaciones y resultado— y protégela contra alteración. Implementa la observabilidad de IA." }, { "control": "Procedencia de modelo y versión", "note": "Registra el prompt exacto, el conjunto de herramientas y la versión del modelo detrás de cada ejecución para que el comportamiento sea atribuible a una base conocida y reproducible por configuración." }, { "control": "Evidencia de evaluación", "note": "Conserva los informes de evaluación previos al despliegue y continuos y los resultados de las puertas para que el auditor pueda verificar que se midieron la seguridad y la calidad: el 'Medir' del NIST." }, { "control": "Prueba de controles y muestreo", "note": "Prueba cada control frente a la evidencia usando una metodología de muestreo documentada: estratificada por riesgo, estadística y revisión completa de excepciones." }, { "control": "Registros de aprobación e incidentes", "note": "Captura aprobaciones humanas, anulaciones e incidentes con la identidad del actor y marcas de tiempo. Implementa el patrón de puerta de aprobación humana." }, { "control": "Atestaciones y gestión de hallazgos", "note": "Los responsables del sistema y de los controles firman atestaciones respaldadas por evidencia; los hallazgos se siguen hasta su cierre con severidad y plazos." } ], "checklist": [ "Confirma que cada ejecución del agente produce una traza completa y correlacionada ligada por un ID de traza estable.", "Verifica que los registros son a prueba de manipulación, con marca de tiempo y conservados durante toda la ventana de auditoría y regulatoria.", "Comprueba que cada ejecución registra la procedencia de modelo y versión (prompt, herramientas, versión del modelo).", "Obtén un mapeo de controles / Declaración de Aplicabilidad que vincule cada control con su evidencia.", "Conserva y revisa los informes de evaluación previos al despliegue y continuos y los resultados de las puertas.", "Confirma que existen registros de aprobación, anulación e incidentes con identidad del actor y marcas de tiempo.", "Aplica una metodología de muestreo documentada: estratificada por riesgo, estadística y cobertura del 100% de excepciones.", "Sigue los hallazgos hasta su cierre con severidad y plazos, y recoge atestaciones firmadas de los responsables." ], "pitfalls": [ "Agentes no auditables: registro añadido como algo tardío, dejando huecos que ninguna auditoría puede llenar.", "Registros mutables: registros que podrían alterarse, destruyendo su valor probatorio.", "Puntos ciegos del muestreo: muestreo solo aleatorio que pasa por alto acciones raras pero catastróficas.", "Atestación sin evidencia: responsables que firman controles que no pueden demostrar.", "Cementerio de hallazgos: problemas planteados pero nunca remediados ni vueltos a probar." ], "examples": [ "Un auditor reconstruye un reembolso en disputa siguiendo su traza correlacionada desde el objetivo a la llamada a herramienta y a la aprobación humana.", "Un control de auditoría continua alerta sobre una llamada a herramienta fuera de la lista permitida contra el flujo de registros en vivo.", "Los informes de evaluación conservados se mapean al Medir de NIST AI RMF, evidenciando que las puertas de seguridad pasaron antes del despliegue." ], "faqs": [ { "q": "¿Se puede auditar un agente no determinista?", "a": "Sí: auditas los controles y el comportamiento registrado, no el determinismo. Las trazas completas e inmutables hacen reconstruible cualquier ejecución concreta aunque no se pueda reproducir exactamente." }, { "q": "¿Qué tamaño debe tener la muestra de auditoría?", "a": "Suficiente para tu nivel de aseguramiento objetivo de forma estadística, más el 100% de las excepciones y las acciones de alto impacto. El muestreo nunca reemplaza la revisión completa de excepciones." }, { "q": "¿Cómo se mapea la evidencia de auditoría a los marcos?", "a": "Las trazas y registros dan soporte a Medir y Gestionar de NIST AI RMF y a la auditoría interna de la Cláusula 9 de ISO/IEC 42001; un mapeo de controles o Declaración de Aplicabilidad vincula cada control con la evidencia que prueba que operó." } ] }, "pt": { "name": "Framework de Auditoria para Sistemas Agênticos", "summary": "Um framework prático e neutro para tornar um agente auditável e para auditá-lo. Define a evidência que um revisor independente precisa — traços imutáveis e correlacionados de cada decisão e chamada de ferramenta, proveniência de modelo e versão, relatórios de avaliação, registros de aprovação e incidentes — e como testar controles e amostrar execuções de alto volume. Cada tipo de evidência é mapeado para ISO/IEC 42001 e NIST AI RMF, para que um auditor possa verificar se o agente se manteve dentro de seus limites governados. Use-o para projetar a auditabilidade desde o início, não como algo adicionado depois.", "definition": "Uma auditoria de agente é um exame independente e baseado em evidência que determina se um sistema agêntico operou dentro de seu escopo, controles e políticas autorizados durante um período definido, e se as alegações de governança feitas sobre ele são sustentadas por evidência confiável.", "scope": "Auditores, equipes de garantia e de risco, e os responsáveis pelo sistema que devem tornar seus agentes auditáveis por design. Aplica-se a agentes autônomos ou semiautônomos que usam ferramentas e agem ao longo do tempo, e dá suporte tanto à garantia interna quanto à auditoria externa ou regulatória. É um companheiro prático dos frameworks formais, não um substituto de aconselhamento jurídico.", "keyPoints": [ "Auditabilidade por design: o agente deve emitir evidência estruturada suficiente em tempo de execução para reconstruir qualquer execução depois.", "Cada execução produz um traço imutável e correlacionado: objetivo, cada passo e chamada de ferramenta com parâmetros e resultados, aprovações, anulações e resultado.", "A evidência deve ser completa, atribuível, com carimbo de tempo e à prova de adulteração para ter valor probatório.", "A proveniência de modelo e versão (prompt, ferramentas, modelo) é capturada por execução para que o comportamento fique ligado a uma configuração conhecida.", "A amostragem é em camadas: estratificada por risco, estatística, e revisão de 100% de todas as exceções, anulações, negações e incidentes.", "A evidência de auditoria mapeia para a auditoria interna da ISO/IEC 42001 (Cláusula 9) e para as funções Medir e Gerenciar do NIST AI RMF." ], "controls": [ { "control": "Registros de auditoria imutáveis e rastreabilidade", "note": "Capture um traço correlacionado por execução — identidade e versão do agente, objetivo, cada passo, chamada de ferramenta, resultado, aprovações e resultado — e proteja-o contra alteração. Implementa a observabilidade de IA." }, { "control": "Proveniência de modelo e versão", "note": "Registre o prompt exato, o conjunto de ferramentas e a versão do modelo por trás de cada execução para que o comportamento seja atribuível a uma base conhecida e reproduzível por configuração." }, { "control": "Evidência de avaliação", "note": "Retenha os relatórios de avaliação prévios à implantação e contínuos e os resultados dos portões para que o auditor possa verificar que a segurança e a qualidade foram medidas: o 'Medir' do NIST." }, { "control": "Teste de controles e amostragem", "note": "Teste cada controle contra a evidência usando uma metodologia de amostragem documentada: estratificada por risco, estatística e revisão completa de exceções." }, { "control": "Registros de aprovação e incidentes", "note": "Capture aprovações humanas, anulações e incidentes com a identidade do ator e carimbos de tempo. Implementa o padrão de portão de aprovação humana." }, { "control": "Atestações e gestão de achados", "note": "Os responsáveis pelo sistema e pelos controles assinam atestações respaldadas por evidência; os achados são acompanhados até o fechamento com severidade e prazos." } ], "checklist": [ "Confirme que cada execução do agente produz um traço completo e correlacionado ligado por um ID de traço estável.", "Verifique que os registros são à prova de adulteração, com carimbo de tempo e retidos durante toda a janela de auditoria e regulatória.", "Verifique que cada execução registra a proveniência de modelo e versão (prompt, ferramentas, versão do modelo).", "Obtenha um mapeamento de controles / Declaração de Aplicabilidade que vincule cada controle à sua evidência.", "Retenha e revise os relatórios de avaliação prévios à implantação e contínuos e os resultados dos portões.", "Confirme que existem registros de aprovação, anulação e incidentes com identidade do ator e carimbos de tempo.", "Aplique uma metodologia de amostragem documentada: estratificada por risco, estatística e cobertura de 100% das exceções.", "Acompanhe os achados até o fechamento com severidade e prazos, e colete atestações assinadas dos responsáveis." ], "pitfalls": [ "Agentes não auditáveis: registro adicionado tardiamente, deixando lacunas que nenhuma auditoria pode preencher.", "Registros mutáveis: registros que poderiam ser alterados, destruindo seu valor probatório.", "Pontos cegos da amostragem: amostragem apenas aleatória que ignora ações raras mas catastróficas.", "Atestação sem evidência: responsáveis que assinam controles que não conseguem demonstrar.", "Cemitério de achados: problemas levantados mas nunca remediados ou retestados." ], "examples": [ "Um auditor reconstrói um reembolso em disputa seguindo seu traço correlacionado do objetivo à chamada de ferramenta e à aprovação humana.", "Um controle de auditoria contínua alerta sobre uma chamada de ferramenta fora da lista permitida contra o fluxo de registros ao vivo.", "Os relatórios de avaliação retidos mapeiam para o Medir do NIST AI RMF, evidenciando que os portões de segurança passaram antes da implantação." ], "faqs": [ { "q": "É possível auditar um agente não determinístico?", "a": "Sim: você audita os controles e o comportamento registrado, não o determinismo. Traços completos e imutáveis tornam qualquer execução específica reconstruível, mesmo que não possa ser reproduzida exatamente." }, { "q": "Qual deve ser o tamanho da amostra de auditoria?", "a": "Grande o suficiente para seu nível de garantia alvo de forma estatística, mais 100% das exceções e das ações de alto impacto. A amostragem nunca substitui a revisão completa de exceções." }, { "q": "Como a evidência de auditoria mapeia para os frameworks?", "a": "Traços e registros dão suporte a Medir e Gerenciar do NIST AI RMF e à auditoria interna da Cláusula 9 da ISO/IEC 42001; um mapeamento de controles ou Declaração de Aplicabilidade vincula cada controle à evidência que prova que ele operou." } ] } } }, { "id": "GOV-007", "slug": "human-oversight-and-accountability-policy", "category": "playbook", "updated": "2026-06-21", "version": "1.0", "url": "https://santismm.com/en/governance/human-oversight-and-accountability-policy", "api": "https://santismm.com/api/governance/human-oversight-and-accountability-policy", "evidence": { "evidenceLevel": "industry_observation", "confidenceLevel": "high", "sourceType": [ "industry_observation", "paper" ] }, "frameworks": [ "EU AI Act" ], "patterns": [ "human-approval-gate", "human-escalation" ], "knowledge": [ "human-in-the-loop", "ai-governance" ], "references": [ { "title": "EU AI Act — Article 14 (Human oversight)", "url": "https://artificialintelligenceact.eu/article/14/" }, { "title": "NIST — AI Risk Management Framework (AI RMF 1.0)", "url": "https://www.nist.gov/itl/ai-risk-management-framework" }, { "title": "OECD — AI Principles", "url": "https://oecd.ai/en/ai-principles" } ], "related": [ "eu-ai-act", "agentic-ai-governance-checklist" ], "locales": { "en": { "name": "Human Oversight and Accountability Policy", "summary": "An operational policy that turns EU AI Act Article 14 human oversight into practice for agentic AI. It assigns a named accountable owner per agent, sets the oversight level (in-the-loop, on-the-loop, out-of-the-loop) by risk, and defines intervention, override and stop authority plus escalation paths. It requires overseers to be competent and have time to act, and it guards against rubber-stamping and automation bias. It exists to prevent two failures: the absent human and the token human who cannot actually understand, override, or answer for what the agent does.", "definition": "A human oversight and accountability policy is a binding rule set that assigns a named human to be answerable for each agent and guarantees a competent person can understand, intervene in, and stop its actions.", "scope": "Every production or pilot agent that uses tools, acts on systems, or makes consequential decisions, and the system owners, approvers and operators who oversee them. It operationalizes Article 14; it is not a substitute for legal advice.", "keyPoints": [ "Each agent has one named, accountable owner — accountability is never transferred to the model.", "Oversight level is matched to risk: in-the-loop for high-impact or irreversible actions, on-the-loop for reversible high-volume actions, out-of-the-loop only for low-risk reversible tasks.", "Every agent exposes tested reject, modify and stop (kill-switch) controls with the context needed for an informed decision.", "Escalation thresholds route consequential decisions to humans by impact, irreversibility, rights or safety, confidence and novelty.", "Overseers must be competent, intelligibly informed, and have genuine authority and time to act.", "Automation bias and rubber-stamping are actively countered, not assumed away." ], "controls": [ { "control": "Named accountable owner", "note": "Assign one human answerable for each agent's outcomes. 'The model decided' is not an acceptable account." }, { "control": "Risk-matched oversight level", "note": "Define in-the-loop, on-the-loop or out-of-the-loop per agent based on action impact and reversibility. Implements the human-approval-gate pattern for high-impact actions." }, { "control": "Override and stop authority", "note": "Expose tested reject, modify and stop controls; surface enough context for an informed override. The stop must be fast and reachable." }, { "control": "Escalation thresholds", "note": "Route decisions to humans when impact, irreversibility, rights/safety, low confidence or novelty thresholds are crossed. Implements the human-escalation pattern." }, { "control": "Overseer competence", "note": "Train and certify overseers on the agent's domain and limits so oversight is meaningful, not nominal." }, { "control": "Anti-rubber-stamping safeguards", "note": "Throttle and require justification for approvals; monitor approval time and override rates to detect automation bias." } ], "checklist": [ "Name one accountable owner for each production agent and record it.", "Classify each agent's actions by impact and reversibility and assign an oversight level.", "Implement and test reject, modify and stop (kill-switch) controls for every agent.", "Ensure the agent surfaces intelligible context for any decision that needs oversight.", "Define and configure escalation thresholds for impact, rights/safety, confidence and novelty.", "Train overseers on the agent's domain and limits and keep their certification current.", "Add anti-rubber-stamping safeguards and monitor approval time and override rates.", "Log every approval and override with actor, reason and timestamp, and review thresholds on a schedule." ], "pitfalls": [ "Token oversight: a human clicks approve without the context, authority or time to actually evaluate the action.", "Automation bias: approvers trust the agent so much they stop scrutinizing its output.", "Diffuse accountability: no single named owner, so a failure has no answerable human.", "Unreachable override: a stop control that is slow, hidden or never tested.", "Threshold drift: escalation limits set once and never updated as the agent's scope grows." ], "examples": [ "A finance agent whose payments above a spend cap require in-the-loop human approval, while reconciliations run on-the-loop.", "A support agent that escalates to a human when its confidence is low or a request affects a customer's rights.", "An incident where the named owner is held accountable and the override log shows who approved the action and why." ], "faqs": [ { "q": "Does human oversight mean a human approves everything?", "a": "No. Oversight is tiered: in-the-loop for high-impact or irreversible actions, on-the-loop monitoring for reversible high-volume actions, and a human-in-command posture overall. The model scales to risk so oversight stays meaningful instead of becoming approval fatigue." }, { "q": "Can accountability sit with the AI vendor?", "a": "No. Vendor relationships are governed separately, but your named system owner remains accountable for how the agent is deployed and used. Automation is a tool, not a defense." }, { "q": "How do we prevent rubber-stamping and automation bias?", "a": "Surface intelligible context for each decision, throttle and require justification for approvals, monitor approval time and override rates, and keep overseers competent through training and rotation." } ] }, "es": { "name": "Política de Supervisión Humana y Rendición de Cuentas", "summary": "Una política operativa que lleva la supervisión humana del Artículo 14 del EU AI Act a la práctica para la IA agéntica. Asigna un responsable nombrado por agente, fija el nivel de supervisión (en el bucle, sobre el bucle, fuera del bucle) según el riesgo y define la autoridad de intervención, anulación y parada más las vías de escalado. Exige que los supervisores sean competentes y tengan tiempo para actuar, y protege frente al sello automático y el sesgo de automatización. Existe para evitar dos fallos: el humano ausente y el humano simbólico que no puede entender, anular ni responder por lo que hace el agente.", "definition": "Una política de supervisión humana y rendición de cuentas es un conjunto de reglas vinculantes que asigna un humano nombrado como responsable de cada agente y garantiza que una persona competente pueda entender, intervenir y detener sus acciones.", "scope": "Todo agente en producción o piloto que use herramientas, actúe sobre sistemas o tome decisiones de consecuencia, y los propietarios de sistema, aprobadores y operadores que los supervisan. Operacionaliza el Artículo 14; no sustituye al asesoramiento legal.", "keyPoints": [ "Cada agente tiene un único responsable nombrado: la rendición de cuentas nunca se transfiere al modelo.", "El nivel de supervisión se ajusta al riesgo: en el bucle para acciones de alto impacto o irreversibles, sobre el bucle para acciones reversibles de alto volumen, fuera del bucle solo para tareas reversibles de bajo riesgo.", "Cada agente expone controles probados de rechazar, modificar y detener (interruptor de parada) con el contexto necesario para una decisión informada.", "Los umbrales de escalado enrutan las decisiones de consecuencia a humanos por impacto, irreversibilidad, derechos o seguridad, confianza y novedad.", "Los supervisores deben ser competentes, estar informados de forma inteligible y tener autoridad y tiempo reales para actuar.", "El sesgo de automatización y el sello automático se contrarrestan activamente, no se dan por descartados." ], "controls": [ { "control": "Responsable nombrado", "note": "Asigna un humano que responda por los resultados de cada agente. 'El modelo decidió' no es una explicación aceptable." }, { "control": "Nivel de supervisión según riesgo", "note": "Define en el bucle, sobre el bucle o fuera del bucle por agente según el impacto y la reversibilidad de la acción. Implementa el patrón de puerta de aprobación humana para acciones de alto impacto." }, { "control": "Autoridad de anulación y parada", "note": "Expón controles probados de rechazar, modificar y detener; muestra suficiente contexto para una anulación informada. La parada debe ser rápida y accesible." }, { "control": "Umbrales de escalado", "note": "Enruta las decisiones a humanos cuando se cruzan umbrales de impacto, irreversibilidad, derechos/seguridad, baja confianza o novedad. Implementa el patrón de escalado humano." }, { "control": "Competencia del supervisor", "note": "Forma y certifica a los supervisores en el dominio y los límites del agente para que la supervisión sea significativa, no nominal." }, { "control": "Salvaguardas contra el sello automático", "note": "Limita y exige justificación para las aprobaciones; monitoriza el tiempo de aprobación y la tasa de anulaciones para detectar el sesgo de automatización." } ], "checklist": [ "Nombra un único responsable para cada agente en producción y regístralo.", "Clasifica las acciones de cada agente por impacto y reversibilidad y asigna un nivel de supervisión.", "Implementa y prueba los controles de rechazar, modificar y detener (interruptor de parada) para cada agente.", "Asegura que el agente muestre contexto inteligible para cualquier decisión que necesite supervisión.", "Define y configura umbrales de escalado para impacto, derechos/seguridad, confianza y novedad.", "Forma a los supervisores en el dominio y los límites del agente y mantén su certificación al día.", "Añade salvaguardas contra el sello automático y monitoriza el tiempo de aprobación y la tasa de anulaciones.", "Registra cada aprobación y anulación con actor, motivo y marca de tiempo, y revisa los umbrales de forma periódica." ], "pitfalls": [ "Supervisión simbólica: un humano pulsa aprobar sin el contexto, la autoridad o el tiempo para evaluar realmente la acción.", "Sesgo de automatización: los aprobadores confían tanto en el agente que dejan de escrutar su salida.", "Rendición de cuentas difusa: ningún responsable nombrado, así que un fallo no tiene humano que responda.", "Anulación inalcanzable: un control de parada lento, oculto o nunca probado.", "Deriva de umbrales: límites de escalado fijados una vez y nunca actualizados a medida que crece el alcance del agente." ], "examples": [ "Un agente financiero cuyos pagos por encima de un tope de gasto requieren aprobación humana en el bucle, mientras las conciliaciones corren sobre el bucle.", "Un agente de soporte que escala a un humano cuando su confianza es baja o una solicitud afecta los derechos de un cliente.", "Un incidente en el que el responsable nombrado rinde cuentas y el registro de anulaciones muestra quién aprobó la acción y por qué." ], "faqs": [ { "q": "¿Supervisión humana significa que un humano aprueba todo?", "a": "No. La supervisión es por niveles: en el bucle para acciones de alto impacto o irreversibles, monitorización sobre el bucle para acciones reversibles de alto volumen y una postura de humano al mando en general. El modelo se ajusta al riesgo para que la supervisión siga siendo significativa en vez de convertirse en fatiga de aprobación." }, { "q": "¿Puede la rendición de cuentas recaer en el proveedor de IA?", "a": "No. Las relaciones con proveedores se gobiernan aparte, pero tu propietario de sistema nombrado sigue siendo responsable de cómo se despliega y usa el agente. La automatización es una herramienta, no una defensa." }, { "q": "¿Cómo evitamos el sello automático y el sesgo de automatización?", "a": "Muestra contexto inteligible para cada decisión, limita y exige justificación para las aprobaciones, monitoriza el tiempo de aprobación y la tasa de anulaciones, y mantén a los supervisores competentes mediante formación y rotación." } ] }, "pt": { "name": "Política de Supervisão Humana e Responsabilização", "summary": "Uma política operacional que leva a supervisão humana do Artigo 14 do EU AI Act à prática para a IA agêntica. Atribui um responsável nomeado por agente, define o nível de supervisão (no laço, sobre o laço, fora do laço) conforme o risco e estabelece a autoridade de intervenção, anulação e parada, além das vias de escalonamento. Exige que os supervisores sejam competentes e tenham tempo para agir, e protege contra o carimbo automático e o viés de automação. Existe para evitar duas falhas: o humano ausente e o humano simbólico que não consegue entender, anular nem responder pelo que o agente faz.", "definition": "Uma política de supervisão humana e responsabilização é um conjunto de regras vinculantes que atribui um humano nomeado como responsável por cada agente e garante que uma pessoa competente possa entender, intervir e parar suas ações.", "scope": "Todo agente em produção ou piloto que use ferramentas, aja sobre sistemas ou tome decisões consequentes, e os proprietários de sistema, aprovadores e operadores que os supervisionam. Operacionaliza o Artigo 14; não substitui aconselhamento jurídico.", "keyPoints": [ "Cada agente tem um único responsável nomeado: a responsabilização nunca é transferida para o modelo.", "O nível de supervisão é ajustado ao risco: no laço para ações de alto impacto ou irreversíveis, sobre o laço para ações reversíveis de alto volume, fora do laço apenas para tarefas reversíveis de baixo risco.", "Cada agente expõe controles testados de rejeitar, modificar e parar (interruptor de parada) com o contexto necessário para uma decisão informada.", "Os limiares de escalonamento roteiam as decisões consequentes para humanos por impacto, irreversibilidade, direitos ou segurança, confiança e novidade.", "Os supervisores devem ser competentes, informados de forma inteligível e ter autoridade e tempo reais para agir.", "O viés de automação e o carimbo automático são contrariados ativamente, não presumidos como ausentes." ], "controls": [ { "control": "Responsável nomeado", "note": "Atribua um humano que responda pelos resultados de cada agente. 'O modelo decidiu' não é uma explicação aceitável." }, { "control": "Nível de supervisão conforme o risco", "note": "Defina no laço, sobre o laço ou fora do laço por agente conforme o impacto e a reversibilidade da ação. Implementa o padrão de portão de aprovação humana para ações de alto impacto." }, { "control": "Autoridade de anulação e parada", "note": "Exponha controles testados de rejeitar, modificar e parar; mostre contexto suficiente para uma anulação informada. A parada deve ser rápida e acessível." }, { "control": "Limiares de escalonamento", "note": "Roteie as decisões para humanos quando limiares de impacto, irreversibilidade, direitos/segurança, baixa confiança ou novidade forem cruzados. Implementa o padrão de escalonamento humano." }, { "control": "Competência do supervisor", "note": "Treine e certifique os supervisores no domínio e nos limites do agente para que a supervisão seja significativa, não nominal." }, { "control": "Salvaguardas contra o carimbo automático", "note": "Limite e exija justificativa para as aprovações; monitore o tempo de aprovação e a taxa de anulações para detectar o viés de automação." } ], "checklist": [ "Nomeie um único responsável para cada agente em produção e registre-o.", "Classifique as ações de cada agente por impacto e reversibilidade e atribua um nível de supervisão.", "Implemente e teste os controles de rejeitar, modificar e parar (interruptor de parada) para cada agente.", "Garanta que o agente mostre contexto inteligível para qualquer decisão que precise de supervisão.", "Defina e configure limiares de escalonamento para impacto, direitos/segurança, confiança e novidade.", "Treine os supervisores no domínio e nos limites do agente e mantenha a certificação deles em dia.", "Adicione salvaguardas contra o carimbo automático e monitore o tempo de aprovação e a taxa de anulações.", "Registre cada aprovação e anulação com ator, motivo e marca de tempo, e revise os limiares periodicamente." ], "pitfalls": [ "Supervisão simbólica: um humano clica em aprovar sem o contexto, a autoridade ou o tempo para avaliar de fato a ação.", "Viés de automação: os aprovadores confiam tanto no agente que param de escrutinar sua saída.", "Responsabilização difusa: nenhum responsável nomeado, então uma falha não tem humano que responda.", "Anulação inalcançável: um controle de parada lento, oculto ou nunca testado.", "Deriva de limiares: limites de escalonamento definidos uma vez e nunca atualizados à medida que o escopo do agente cresce." ], "examples": [ "Um agente financeiro cujos pagamentos acima de um teto de gasto exigem aprovação humana no laço, enquanto as conciliações correm sobre o laço.", "Um agente de suporte que escala para um humano quando sua confiança é baixa ou uma solicitação afeta os direitos de um cliente.", "Um incidente em que o responsável nomeado presta contas e o registro de anulações mostra quem aprovou a ação e por quê." ], "faqs": [ { "q": "Supervisão humana significa que um humano aprova tudo?", "a": "Não. A supervisão é em níveis: no laço para ações de alto impacto ou irreversíveis, monitoramento sobre o laço para ações reversíveis de alto volume e uma postura de humano no comando em geral. O modelo se ajusta ao risco para que a supervisão continue significativa em vez de virar fadiga de aprovação." }, { "q": "A responsabilização pode ficar com o fornecedor de IA?", "a": "Não. As relações com fornecedores são governadas à parte, mas o seu proprietário de sistema nomeado continua responsável por como o agente é implantado e usado. A automação é uma ferramenta, não uma defesa." }, { "q": "Como evitamos o carimbo automático e o viés de automação?", "a": "Mostre contexto inteligível para cada decisão, limite e exija justificativa para as aprovações, monitore o tempo de aprovação e a taxa de anulações, e mantenha os supervisores competentes por meio de treinamento e rotação." } ] } } } ] }