Framework de Auditoria para Sistemas Agênticos
Um framework prático e neutro para tornar um agente auditável e para auditá-lo. Define a evidência que um revisor independente precisa — traços imutáveis e correlacionados de cada decisão e chamada de ferramenta, proveniência de modelo e versão, relatórios de avaliação, registros de aprovação e incidentes — e como testar controles e amostrar execuções de alto volume. Cada tipo de evidência é mapeado para ISO/IEC 42001 e NIST AI RMF, para que um auditor possa verificar se o agente se manteve dentro de seus limites governados. Use-o para projetar a auditabilidade desde o início, não como algo adicionado depois.
Definição
Uma auditoria de agente é um exame independente e baseado em evidência que determina se um sistema agêntico operou dentro de seu escopo, controles e políticas autorizados durante um período definido, e se as alegações de governança feitas sobre ele são sustentadas por evidência confiável.
Escopo
Auditores, equipes de garantia e de risco, e os responsáveis pelo sistema que devem tornar seus agentes auditáveis por design. Aplica-se a agentes autônomos ou semiautônomos que usam ferramentas e agem ao longo do tempo, e dá suporte tanto à garantia interna quanto à auditoria externa ou regulatória. É um companheiro prático dos frameworks formais, não um substituto de aconselhamento jurídico.
Requisitos-chave
- Auditabilidade por design: o agente deve emitir evidência estruturada suficiente em tempo de execução para reconstruir qualquer execução depois.
- Cada execução produz um traço imutável e correlacionado: objetivo, cada passo e chamada de ferramenta com parâmetros e resultados, aprovações, anulações e resultado.
- A evidência deve ser completa, atribuível, com carimbo de tempo e à prova de adulteração para ter valor probatório.
- A proveniência de modelo e versão (prompt, ferramentas, modelo) é capturada por execução para que o comportamento fique ligado a uma configuração conhecida.
- A amostragem é em camadas: estratificada por risco, estatística, e revisão de 100% de todas as exceções, anulações, negações e incidentes.
- A evidência de auditoria mapeia para a auditoria interna da ISO/IEC 42001 (Cláusula 9) e para as funções Medir e Gerenciar do NIST AI RMF.
Controles
- Registros de auditoria imutáveis e rastreabilidade
- Capture um traço correlacionado por execução — identidade e versão do agente, objetivo, cada passo, chamada de ferramenta, resultado, aprovações e resultado — e proteja-o contra alteração. Implementa a observabilidade de IA.
- Proveniência de modelo e versão
- Registre o prompt exato, o conjunto de ferramentas e a versão do modelo por trás de cada execução para que o comportamento seja atribuível a uma base conhecida e reproduzível por configuração.
- Evidência de avaliação
- Retenha os relatórios de avaliação prévios à implantação e contínuos e os resultados dos portões para que o auditor possa verificar que a segurança e a qualidade foram medidas: o 'Medir' do NIST.
- Teste de controles e amostragem
- Teste cada controle contra a evidência usando uma metodologia de amostragem documentada: estratificada por risco, estatística e revisão completa de exceções.
- Registros de aprovação e incidentes
- Capture aprovações humanas, anulações e incidentes com a identidade do ator e carimbos de tempo. Implementa o padrão de portão de aprovação humana.
- Atestações e gestão de achados
- Os responsáveis pelo sistema e pelos controles assinam atestações respaldadas por evidência; os achados são acompanhados até o fechamento com severidade e prazos.
Lista de verificação
- 01Confirme que cada execução do agente produz um traço completo e correlacionado ligado por um ID de traço estável.
- 02Verifique que os registros são à prova de adulteração, com carimbo de tempo e retidos durante toda a janela de auditoria e regulatória.
- 03Verifique que cada execução registra a proveniência de modelo e versão (prompt, ferramentas, versão do modelo).
- 04Obtenha um mapeamento de controles / Declaração de Aplicabilidade que vincule cada controle à sua evidência.
- 05Retenha e revise os relatórios de avaliação prévios à implantação e contínuos e os resultados dos portões.
- 06Confirme que existem registros de aprovação, anulação e incidentes com identidade do ator e carimbos de tempo.
- 07Aplique uma metodologia de amostragem documentada: estratificada por risco, estatística e cobertura de 100% das exceções.
- 08Acompanhe os achados até o fechamento com severidade e prazos, e colete atestações assinadas dos responsáveis.
Erros comuns
- Agentes não auditáveis: registro adicionado tardiamente, deixando lacunas que nenhuma auditoria pode preencher.
- Registros mutáveis: registros que poderiam ser alterados, destruindo seu valor probatório.
- Pontos cegos da amostragem: amostragem apenas aleatória que ignora ações raras mas catastróficas.
- Atestação sem evidência: responsáveis que assinam controles que não conseguem demonstrar.
- Cemitério de achados: problemas levantados mas nunca remediados ou retestados.
Exemplos
- Um auditor reconstrói um reembolso em disputa seguindo seu traço correlacionado do objetivo à chamada de ferramenta e à aprovação humana.
- Um controle de auditoria contínua alerta sobre uma chamada de ferramenta fora da lista permitida contra o fluxo de registros ao vivo.
- Os relatórios de avaliação retidos mapeiam para o Medir do NIST AI RMF, evidenciando que os portões de segurança passaram antes da implantação.
FAQs
- É possível auditar um agente não determinístico?
- Sim: você audita os controles e o comportamento registrado, não o determinismo. Traços completos e imutáveis tornam qualquer execução específica reconstruível, mesmo que não possa ser reproduzida exatamente.
- Qual deve ser o tamanho da amostra de auditoria?
- Grande o suficiente para seu nível de garantia alvo de forma estatística, mais 100% das exceções e das ações de alto impacto. A amostragem nunca substitui a revisão completa de exceções.
- Como a evidência de auditoria mapeia para os frameworks?
- Traços e registros dão suporte a Medir e Gerenciar do NIST AI RMF e à auditoria interna da Cláusula 9 da ISO/IEC 42001; um mapeamento de controles ou Declaração de Aplicabilidade vincula cada controle à evidência que prova que ele operou.