Checklist de Governança de IA Agêntica

Definição

O checklist de governança de IA agêntica é um conjunto de controles operacionais que transforma os frameworks de governança de IA em requisitos concretos e implementáveis para agentes autônomos que agem em produção.

Escopo

Equipes que constroem ou implantam agentes autônomos ou semiautônomos que usam ferramentas, agem sobre sistemas ou tomam decisões consequentes. É um companheiro prático dos frameworks formais, não um substituto de aconselhamento jurídico.

Requisitos-chave

• Supervisão humana por risco: coloque portões de aprovação nas ações de alto impacto, irreversíveis ou reguladas.
• Guard-rails em entradas e saídas, incluindo defesa contra injeção de prompts e PII.
• Registro de auditoria e observabilidade completos para que cada ação seja rastreável.
• Avaliação antes e depois da implantação, contra um conjunto de avaliação mantido.
• Acesso de menor privilégio às ferramentas e dados que o agente pode alcançar.
• Uma resposta a incidentes e um interruptor de parada definidos para os agentes em produção.

Controles

Portões de aprovação humana

Roteie as ações de alto impacto por um ponto de controle humano (Art. 14 do EU AI Act). Implementa o padrão de portão de aprovação humana.

Guard-rails

Valide e restrinja entradas e saídas; defenda contra a injeção de prompts e bloqueie ações fora da política.

Registro de auditoria e observabilidade

Rastreie cada decisão, chamada de ferramenta e ação para que o agente seja revisável e os incidentes reconstruíveis.

Harness de avaliação

Pontue o comportamento contra um conjunto de avaliação antes de implantar e monitore regressões depois: o 'Medir' do NIST.

Acesso de menor privilégio

Restrinja as ferramentas, os dados e as permissões que um agente pode alcançar ao mínimo que sua tarefa requer.

Resposta a incidentes e interruptor de parada

Defina como detectar, parar e remediar um agente que se comporta mal, incluindo uma forma de pará-lo imediatamente.

Lista de verificação

• 01Classifique o risco do agente e identifique quais ações precisam de aprovação humana.
• 02Implemente guard-rails para entradas/saídas e defesa contra injeção de prompts.
• 03Habilite registro de auditoria e observabilidade ponta a ponta.
• 04Monte um conjunto de avaliação e execute-o antes da implantação e continuamente.
• 05Aplique menor privilégio a ferramentas, dados e credenciais.
• 06Defina resposta a incidentes, limiares de monitoramento e um interruptor de parada.
• 07Mapeie cada controle para suas obrigações sob o EU AI Act, ISO 42001 e NIST AI RMF.
• 08Documente a responsabilidade e revise o agente periodicamente.

Erros comuns

• Dar a um agente amplo acesso a ferramentas/dados 'por precaução', criando um grande raio de impacto.
• Colocar portões em tudo (fadiga de aprovação) ou em nada (sem supervisão) em vez de fazê-lo por risco.
• Implantar sem um conjunto de avaliação, deixando qualidade e segurança sem medição.
• Não ter interruptor de parada nem plano de incidentes quando um agente se comporta mal em produção.
• Ignorar a injeção de prompts como superfície de ataque para agentes com ferramentas.

Evidência de produção

Contexto

Equipes que colocam em produção um agente autônomo ou semiautônomo que usa ferramentas e toma ações consequentes.

Cenário

Antes do go-live, a equipe executa o checklist como portão de prontidão: classifica o risco do agente, coloca portões de aprovação humana nas ações de alto impacto, adiciona guard-rails e defesa contra injeção de prompts, habilita registro de auditoria e observabilidade, monta um conjunto de avaliação, restringe o acesso de menor privilégio e define resposta a incidentes e um interruptor de parada.

Tecnologia

Um harness que combina um portão de aprovação humana, guard-rails, registro de auditoria/observabilidade, um harness de avaliação e acesso restrito a ferramentas e credenciais.

Carga

Aplicado por agente antes da implantação e revisado periodicamente; o controle mais pesado (aprovação humana) é reservado para o pequeno conjunto de ações de alto impacto.

Resultados

Padrão observado: equipes que colocam portões por risco, aplicam menor privilégio e instrumentam desde o dia um contêm o raio de impacto dos erros do agente; as que dão acesso amplo 'por precaução' ou implantam sem avaliações descobrem as falhas em produção. Meça a adequação do escalonamento, a taxa de ações erradas e o tempo médio de detecção.

Lições aprendidas

• Trate o checklist como um portão de prontidão, não como uma auditoria pontual: execute-o novamente à medida que as ferramentas e a autonomia do agente crescem.
• O acesso de menor privilégio e a aprovação humana baseada em risco limitam o raio de impacto mais do que qualquer guard-rail isolado.
• Sem um conjunto de avaliação e registro de auditoria antes do lançamento, você não distingue um agente seguro de um com sorte.
• Atribua cada controle a um responsável concreto; governança sem prestação de contas é só documentação.

Exemplos

• Um agente cuja ação de reembolso tem portão de aprovação humana enquanto as consultas somente leitura correm livres.
• Um guard-rail que bloqueia uma instrução injetada para exfiltrar dados via uma ferramenta.
• Uma execução de avaliação que detecta uma regressão de segurança antes de implantar uma atualização do agente.

FAQs

Isto substitui o EU AI Act ou a ISO 42001?

Não. É um conjunto de controles prático que operacionaliza seus princípios para agentes. Use-o junto aos frameworks formais e ao aconselhamento jurídico, não no lugar deles.

Qual controle importa mais para os agentes autônomos?

A supervisão humana baseada em risco mais o acesso de menor privilégio e o registro de auditoria: juntos limitam o que um agente pode fazer e tornam cada ação responsável.

Como conecta com a biblioteca de padrões?

Cada controle mapeia para padrões que o implementam —portão de aprovação humana para a supervisão, reflexão e avaliador-otimizador para a qualidade— e para unidades de conhecimento como guard-rails e observabilidade de IA.

Referências

• NIST — AI Risk Management Framework (AI RMF 1.0)
• EU AI Act — Article 14 (Human oversight)
• OWASP — Top 10 for LLM Applications

Governança relacionada