Política de Supervisão Humana e Responsabilização

Definição

Uma política de supervisão humana e responsabilização é um conjunto de regras vinculantes que atribui um humano nomeado como responsável por cada agente e garante que uma pessoa competente possa entender, intervir e parar suas ações.

Escopo

Todo agente em produção ou piloto que use ferramentas, aja sobre sistemas ou tome decisões consequentes, e os proprietários de sistema, aprovadores e operadores que os supervisionam. Operacionaliza o Artigo 14; não substitui aconselhamento jurídico.

Requisitos-chave

• Cada agente tem um único responsável nomeado: a responsabilização nunca é transferida para o modelo.
• O nível de supervisão é ajustado ao risco: no laço para ações de alto impacto ou irreversíveis, sobre o laço para ações reversíveis de alto volume, fora do laço apenas para tarefas reversíveis de baixo risco.
• Cada agente expõe controles testados de rejeitar, modificar e parar (interruptor de parada) com o contexto necessário para uma decisão informada.
• Os limiares de escalonamento roteiam as decisões consequentes para humanos por impacto, irreversibilidade, direitos ou segurança, confiança e novidade.
• Os supervisores devem ser competentes, informados de forma inteligível e ter autoridade e tempo reais para agir.
• O viés de automação e o carimbo automático são contrariados ativamente, não presumidos como ausentes.

Controles

Responsável nomeado

Atribua um humano que responda pelos resultados de cada agente. 'O modelo decidiu' não é uma explicação aceitável.

Nível de supervisão conforme o risco

Defina no laço, sobre o laço ou fora do laço por agente conforme o impacto e a reversibilidade da ação. Implementa o padrão de portão de aprovação humana para ações de alto impacto.

Autoridade de anulação e parada

Exponha controles testados de rejeitar, modificar e parar; mostre contexto suficiente para uma anulação informada. A parada deve ser rápida e acessível.

Limiares de escalonamento

Roteie as decisões para humanos quando limiares de impacto, irreversibilidade, direitos/segurança, baixa confiança ou novidade forem cruzados. Implementa o padrão de escalonamento humano.

Competência do supervisor

Treine e certifique os supervisores no domínio e nos limites do agente para que a supervisão seja significativa, não nominal.

Salvaguardas contra o carimbo automático

Limite e exija justificativa para as aprovações; monitore o tempo de aprovação e a taxa de anulações para detectar o viés de automação.

Lista de verificação

• 01Nomeie um único responsável para cada agente em produção e registre-o.
• 02Classifique as ações de cada agente por impacto e reversibilidade e atribua um nível de supervisão.
• 03Implemente e teste os controles de rejeitar, modificar e parar (interruptor de parada) para cada agente.
• 04Garanta que o agente mostre contexto inteligível para qualquer decisão que precise de supervisão.
• 05Defina e configure limiares de escalonamento para impacto, direitos/segurança, confiança e novidade.
• 06Treine os supervisores no domínio e nos limites do agente e mantenha a certificação deles em dia.
• 07Adicione salvaguardas contra o carimbo automático e monitore o tempo de aprovação e a taxa de anulações.
• 08Registre cada aprovação e anulação com ator, motivo e marca de tempo, e revise os limiares periodicamente.

Erros comuns

• Supervisão simbólica: um humano clica em aprovar sem o contexto, a autoridade ou o tempo para avaliar de fato a ação.
• Viés de automação: os aprovadores confiam tanto no agente que param de escrutinar sua saída.
• Responsabilização difusa: nenhum responsável nomeado, então uma falha não tem humano que responda.
• Anulação inalcançável: um controle de parada lento, oculto ou nunca testado.
• Deriva de limiares: limites de escalonamento definidos uma vez e nunca atualizados à medida que o escopo do agente cresce.

Exemplos

• Um agente financeiro cujos pagamentos acima de um teto de gasto exigem aprovação humana no laço, enquanto as conciliações correm sobre o laço.
• Um agente de suporte que escala para um humano quando sua confiança é baixa ou uma solicitação afeta os direitos de um cliente.
• Um incidente em que o responsável nomeado presta contas e o registro de anulações mostra quem aprovou a ação e por quê.

FAQs

Supervisão humana significa que um humano aprova tudo?

Não. A supervisão é em níveis: no laço para ações de alto impacto ou irreversíveis, monitoramento sobre o laço para ações reversíveis de alto volume e uma postura de humano no comando em geral. O modelo se ajusta ao risco para que a supervisão continue significativa em vez de virar fadiga de aprovação.

A responsabilização pode ficar com o fornecedor de IA?

Não. As relações com fornecedores são governadas à parte, mas o seu proprietário de sistema nomeado continua responsável por como o agente é implantado e usado. A automação é uma ferramenta, não uma defesa.

Como evitamos o carimbo automático e o viés de automação?

Mostre contexto inteligível para cada decisão, limite e exija justificativa para as aprovações, monitore o tempo de aprovação e a taxa de anulações, e mantenha os supervisores competentes por meio de treinamento e rotação.

Referências

• EU AI Act — Article 14 (Human oversight)
• NIST — AI Risk Management Framework (AI RMF 1.0)
• OECD — AI Principles

Governança relacionada