Sistema imunológico agêntico
Arquitetura de referência para operar agentes de IA na empresa sem concentrar a confiança em nenhum deles. Cinco camadas — identidade, privilégio mínimo, contenção, supervisão e recuperação — partem do princípio de que algum agente acabará por errar ou ser subvertido, e tornam esse dia sobrevivível em vez de catastrófico. A unidade de defesa é a execução concreta, não a frota.
Conceitos-chave
- Assumir o comprometimento: a pergunta não é se um agente vai agir mal, mas até onde ele chega quando o fizer.
- Identidade por execução: cada execução leva a sua própria credencial efêmera, nunca uma conta de operador compartilhada.
- Contenção antes de prevenção: o raio de dano é projetado, não esperado — uma execução subvertida afeta uma tarefa, não o parque.
- A recuperação é uma superfície de projeto: rastrear, desfazer e parar constroem-se antes, não se improvisam durante o incidente.
Definição
O sistema imunológico agêntico é uma arquitetura de execução em camadas que permite aos agentes de IA agir de fato sobre os sistemas da empresa, limitando o que uma única execução consegue alcançar, observar ou danificar, através de identidade por execução, privilégio limitado à tarefa, contenção de execução e de saída, supervisão humana por risco e recuperação rastreável.
Arquitetura
A arquitetura inverte a pergunta habitual. Em vez de perguntar como impedir que um agente erre — algo que nenhuma barreira consegue de forma confiável perante um sistema que raciocina — pergunta até onde o agente chega no momento em que erra. Cada camada é um limite de alcance, e as camadas são independentes para que a falha de uma não abra as restantes.
A identidade é o alicerce. Cada execução recebe uma credencial efêmera ligada à tarefa, a quem a pediu e às ferramentas que declarou precisar. Os agentes não compartilham conta de serviço: quando algo corre mal, o rastro nomeia uma execução e não uma frota, e revogar custa um token em vez de uma rotação em todo o parque.
O privilégio limita-se à tarefa e caduca com ela. O intermediário de ferramentas concede o conjunto estreito de capacidades que a execução declarou à partida — ler este ticket, escrever este registro — e recusa tudo o resto, de modo que uma injeção de prompt que convença o modelo a tentar mais não encontra nada para chamar.
A contenção parte do princípio de que as duas camadas anteriores podem cair. A execução acontece num ambiente isolado sem credenciais ambientais; a saída de rede passa por uma lista de destinos permitidos, pelo que a exfiltração não tem para onde enviar; e o que o agente produz é codificado na fronteira para que a sua saída não se torne a instrução do sistema seguinte.
A supervisão é onde uma pessoa assume a responsabilidade, colocada por risco e não por padrão: as ações irreversíveis ou reguladas param à espera de aprovação, e os resultados de baixa confiança escalam com todo o contexto da execução. Pôr porta em tudo derrota a automação e ensina os revisores a aprovar sem ler.
A recuperação fecha o ciclo. Cada execução é rastreada sob um único identificador de correlação através de modelos, ferramentas e novas tentativas; as ações são projetadas com a sua contrapartida compensatória quando o sistema de destino o permite; e um interruptor de paragem detém uma classe de execuções sem derrubar a plataforma.
Fluxo de requisição
- 1. Pedido: chega uma tarefa com quem a solicita e um conjunto declarado de ferramentas e âmbitos de dados.
- 2. Emissão: o intermediário cunha uma identidade efêmera, limitada à execução e ligada a essa declaração.
- 3. Admissão: a execução arranca num ambiente isolado, sem credenciais ambientais e com lista de saída permitida.
- 4. Ação: cada chamada a ferramenta é autorizada contra o âmbito da execução; o que fica de fora é recusado e registado.
- 5. Porta: as ações irreversíveis ou reguladas param à espera de aprovação humana com o contexto anexado.
- 6. Saída: o que é produzido é codificado na fronteira para que a jusante não seja executado como instrução.
- 7. Fecho: a identidade caduca, o rastro é selado sob o seu identificador de correlação e as ações compensatórias continuam disponíveis.
Componentes
Cenário de referência
- Contexto
- Uma empresa ilustrativa operando dezenas de agentes em ticketing, finanças e conhecimento interno, onde cada agente pode ler e escrever em sistemas de registro.
- Cenário
- Um passo de recuperação ingere um documento com uma instrução injetada que pede ao agente para exportar registros de clientes. O modelo obedece, mas a ferramenta de exportação fica fora do âmbito declarado da execução e é recusada; a tentativa fica registada, a regra de anomalia detém a execução e o identificador de correlação dá a quem responde a cadeia completa numa só consulta.
- Tecnologia
- Emissor de credenciais por execução, intermediário de ferramentas com âmbitos, execução isolada, lista de saída permitida, codificação de fronteira, porta de aprovação por risco e rastreio correlacionado.
- Carga
- Automação contínua de fundo com picos à volta dos processos de negócio; a ação rara e de alto impacto é uma fração pequena das chamadas e é a que carrega o risco.
- Resultados
- Objetivo de referência, não uma medição: uma execução subvertida fica limitada ao seu âmbito declarado, cada recusa é atribuível a uma execução, e toda a ação executada pode ser rastreada e — quando o sistema de destino o permite — compensada.
Benefícios
- Um agente errado ou subvertido custa uma tarefa, não o parque inteiro.
- Os incidentes são atribuíveis a uma execução e não a uma conta compartilhada, pelo que a resposta é dirigida e revogar sai barato.
- A injeção de prompt perde quase todo o seu valor: convencer o modelo não lhe concede uma capacidade que nunca teve.
- O esforço de supervisão concentra-se nas ações realmente irreversíveis, e assim a aprovação continua a significar alguma coisa.
Riscos
- Os âmbitos declarados afastam-se do que os agentes precisam de fato e as equipas alargam-nos até o privilégio mínimo ser nominal.
- Pôr porta em demasiadas coisas ensina os revisores a aprovar sem ler, o que é pior do que não pôr porta.
- O isolamento e os intermediários acrescentam latência e superfície operacional que uma implantação pequena talvez não justifique.
- Há efeitos externos que não admitem compensação: um email enviado ou uma fatura paga não se desfazem.
KPIs
- Execuções com identidade própria e efêmera
- O controle que sustenta o peso. Qualquer número abaixo dos 100 % significa que algum caminho continua a usar uma credencial compartilhada.
- Tentativas de ferramenta fora de âmbito, recusadas
- Contadas por execução. Subirem diz algo sobre o ambiente, não necessariamente que o desenho falha.
- Raio de dano por execução
- Quantos sistemas e registros uma única execução totalmente subvertida conseguiria alcançar. É o número que a arquitetura existe para encolher.
- Taxa de ações com porta e latência de aprovação
- Importam as duas: uma taxa alta derrota a automação e uma latência alta faz com que as equipas desativem a porta.
- Completude do rastro
- Proporção de execuções reconstruíveis de ponta a ponta sob um identificador de correlação, incluindo novas tentativas e trocas de modelo.
- Tempo até revogar
- Da detecção até a capacidade de uma execução deixar de existir. Com credenciais efêmeras deveria parecer-se com a sua caducidade, não com uma rotação.
Custo e escalabilidade
- Os intermediários de identidade e de ferramentas estão no caminho quente de cada chamada, pelo que marcam o teto; não têm estado e escalam na horizontal, mas a sua latência paga-se em cada uso de ferramenta.
- O arranque do ambiente isolado domina o custo das execuções curtas; manter ambientes quentes em pool troca profundidade de isolamento por latência e deve ser uma decisão explícita.
- A aprovação humana não escala de forma linear e é a restrição real: o conjunto com porta tem de continuar pequeno à medida que a frota cresce, ou a fila torna-se a paragem.
- O armazenamento de rastros cresce com execuções vezes chamadas a ferramenta; amostrar serve para observabilidade mas não para auditoria, pelo que as duas políticas de retenção devem ir separadas.
Modos de falha observados
- Uma credencial de serviço compartilhada sobrevive nalgum ponto da pilha e derrota em silêncio a identidade por execução.
- A lista de saída é contornada através de um destino permitido que por sua vez reencaminha os dados.
- Os rastros partem-se numa nova tentativa ou numa troca de modelo, e a cadeia do incidente já não pode ser reconstruída.
- A fila de aprovação entope e a porta é desativada “temporariamente” para a esvaziar.
- A saída de uma ferramenta é tratada como entrada de confiança no passo seguinte, e a contenção passa a ser uma só fronteira com fugas.
Lições aprendidas
- Projeta o raio de dano antes da capacidade: até onde um agente pode chegar é uma pergunta mais difícil do que o que ele pode fazer, e respondê-la primeiro torna o resto tratável.
- A identidade por execução é a camada que sustenta o peso; sem ela, qualquer outro controle é aplicado contra um sujeito que não sabes nomear.
- Uma porta que dispara com tudo é uma porta que não dispara com nada: reserva a aprovação humana para o irreversível.
- Assume que o modelo vai ser convencido e projeta para que convencer não seja autorizar.
- A recuperação tem de ser construída com o sistema em calma; ninguém projeta uma ação compensatória durante um incidente.
Tecnologias
Exemplos
- Uma instrução injetada num documento recuperado pede uma exportação de dados; a ferramenta fica fora do âmbito da execução e a chamada é recusada e registada.
- Um agente de finanças prepara um pagamento e uma pessoa aprova-o antes de o executar, com o rastro da execução anexado à aprovação.
- Uma classe de agente que se comporta mal é detida com o interruptor de paragem enquanto o resto da frota continua funcionando.
- Um incidente é reconstruído a partir de um único identificador de correlação que abrange três modelos, nove chamadas a ferramenta e duas novas tentativas.
FAQs
- Porquê um sistema imunológico e não uma firewall?
- Uma firewall pressupõe uma fronteira entre dentro e fora. Uma empresa que opera agentes não tem essa fronteira: o agente já está dentro, agindo com credenciais reais. Um sistema imunológico assume a intrusão como normal e investe em reconhecimento, contenção e reparação em vez de num perímetro.
- Não é privilégio mínimo com passos a mais?
- O privilégio mínimo é uma das cinco camadas e a mais conhecida. O que a arquitetura sustenta é que por si só não chega: sem identidade por execução não consegues limitar o privilégio a um sujeito, e sem contenção nem recuperação uma execução bem delimitada que ainda assim corre mal não tem limite nem marcha atrás.
- Isto detém a injeção de prompt?
- Não, e tratar qualquer controle como se a detivesse é precisamente o erro. O que faz é baratear sobreviver-lhe: convencer o modelo a tentar uma ação não é o mesmo que essa ação estar autorizada, e a tentativa recusada é em si mesma um sinal.
- Qual é a versão mínima viável?
- Identidade por execução e acesso a ferramentas limitado à tarefa. Essas duas dão atribuição e um limite. A contenção, a porta e as ações compensatórias pesam mais quanto mais irreversíveis se tornam as ações.
- Que relação tem com os quadros de governança?
- É a sua expressão em tempo de execução. O NIST AI RMF e a ISO 42001 pedem responsabilidade e rastreabilidade; o OWASP LLM Top 10 e o MITRE ATLAS descrevem os ataques. Esta arquitetura é onde essas obrigações se transformam em identidades, âmbitos, ambientes isolados e rastros.