Um modelo melhor resolve a injeção de prompt?

Não. A vulnerabilidade é estrutural: instruções e conteúdo chegam pelo mesmo canal, como texto. Um modelo melhor encarece o ataque; só o harness limita o raio do dano.

Qual a diferença para a governança de IA?

A governança decide o que é permitido e quem responde. A ciberdefesa torna o permitido difícil de abusar. Compartilham evidência — registros, avaliações, aprovações —, por isso costumam ser construídas juntas.

Por onde uma equipe começa?

Escreva o modelo de ameaças de um agente, liste a pior coisa que ele poderia ser levado a fazer e retire a capacidade de fazê-la sem um humano. O resto é refinamento.

Vale para agentes que só leem?

Sim, com superfície menor. Um agente somente leitura ainda pode exfiltrar o que lê, então fronteiras de contexto e controle de saída continuam importando mesmo sem nenhuma ferramenta de escrita.

GovernançaAtualizado 2026-08-22 · Versão 1.0

O que é a ciberdefesa de IA?

A ciberdefesa de IA é a prática de proteger sistemas de IA — modelos, agentes, as ferramentas que eles chamam e os dados que alcançam — contra ataques que exploram como esses sistemas raciocinam e agem. Em agentes não é uma camada adicionada depois: os controles que detêm um ataque são os mesmos componentes do harness que fazem o agente funcionar — permissões de ferramentas, fronteiras de contexto, portões de aprovação, observabilidade. Defender um agente é projetar o seu harness.

Evidência: Observação do setorConfiança: AltaFonte: Observação do setorFonte: PaperFonte: Experiência pessoal

Legível por máquina: JSON

Definição

A ciberdefesa de IA é a prática de proteger os sistemas de IA, e as organizações que os operam, contra ataques dirigidos à própria IA — suas entradas, seu contexto, suas ferramentas e sua autonomia — por meio de controles implementados no harness ao redor do modelo, e não nos pesos do modelo.

Pontos-chave

O modelo raramente é a superfície de ataque; o harness ao redor dele é.
Os ataques miram as entradas, a memória, as ferramentas e a autonomia do agente — não seus parâmetros.
Não dá para corrigir um modelo de linguagem contra injeção de prompt. O que se limita é o que um agente sequestrado consegue fazer.
Todo controle defensivo também é de confiabilidade: privilégio mínimo, validação, portões de aprovação, trilhas de auditoria.
Duas direções compartilham o nome: defender sistemas de IA e usar IA para defender. Compartilham ferramentas, não modelos de ameaça.

Contexto

A segurança de aplicações clássica assume que o código decide e os dados são inertes. Um agente quebra essa premissa: ele lê conteúdo não confiável e decide a partir dele, então qualquer documento, página web ou resposta de ferramenta é uma instrução em potencial.

É aqui que a adoção empresarial trava. A revisão de segurança é o bloqueio mais comum entre a demo de um agente e a produção, porque o risco é pouco familiar: o sistema se comporta exatamente como projetado e ainda assim é abusado.

Arquitetura

Fronteira de entrada — o conteúdo não confiável é delimitado e rotulado como dado, nunca concatenado no canal de instruções.

Camada de ferramentas — cada ferramenta carrega a credencial mais estreita com que ainda funciona e declara se é somente leitura.

Portão de ação — ações irreversíveis ou de alto valor param para aprovação humana em vez de serem confiadas ao julgamento do modelo.

Controle de saída — os destinos externos ficam em uma allowlist, então exfiltrar exige uma brecha que alguém abriu de propósito.

Observabilidade — cada chamada de ferramenta, seus argumentos e seu resultado ficam registrados, porque um incidente que você não consegue reconstruir é um incidente que você não consegue encerrar.

Avaliação adversarial — casos de injeção e abuso rodam no CI ao lado dos testes funcionais, para que uma regressão quebre um build e não um cliente.

Componentes

Modelo de ameaças do agente específicoCredenciais de ferramenta com privilégio mínimoFronteira de confiança entre instruções e conteúdoPortão de aprovação humana para ações irreversíveisAllowlist de saídaTrilha de auditoria à prova de adulteração das chamadas de ferramentasSuíte de avaliação adversarialProcedimento de resposta a incidentes que cubra o comportamento do agente

Benefícios

Os controles são auditáveis e testáveis, ao contrário de garantias no nível do modelo, que não podem ser verificadas de fora.
O mesmo trabalho compra confiabilidade: um agente que não pode apagar o registro errado por malícia também não o apaga por engano.
Encaixa diretamente em obrigações que as organizações já têm — deveres de robustez e cibersegurança do Regulamento de IA da UE, ISO/IEC 42001, NIST AI RMF.
Dá à revisão de segurança algo concreto para aprovar, que é o que desbloqueia a produção.

Riscos

Teatro de segurança: um modelo guardião filtrando texto enquanto o agente continua com uma chave de API com permissão de escrita.
Restrição excessiva que torna o agente inútil e empurra as pessoas para cópias não oficiais sem controle algum.
Assumir que os padrões do fornecedor são seguros, sobretudo em servidores de ferramentas de terceiros que ninguém da equipe leu.
Tratar como revisão pontual em vez de ciclo de vida: ferramenta nova, superfície de ataque nova.

Ferramentas e tecnologias

OWASP Top 10 para aplicações LLM — vocabulário comum de riscosMITRE ATLAS — táticas e técnicas adversariais observadas contra sistemas de IANIST AI RMF e seu perfil de IA generativaBibliotecas de guardrails e validação de entrada/saídaAmbientes de execução em sandbox e proxies de saídaHarnesses de avaliação adversarial integrados ao CI

Exemplos

Um agente que lê uma caixa de entrada compartilhada e pode enviar e-mail: um e-mail injetado manda encaminhar as últimas vinte mensagens para um endereço externo.
Um agente de programação com um token do repositório, apontado para uma dependência cujo README carrega instruções ocultas.
Um cliente MCP que se conecta a um servidor de ferramentas de terceiros cujas descrições contêm instruções dirigidas ao modelo, e não ao desenvolvedor.

FAQs

Um modelo melhor resolve a injeção de prompt?: Não. A vulnerabilidade é estrutural: instruções e conteúdo chegam pelo mesmo canal, como texto. Um modelo melhor encarece o ataque; só o harness limita o raio do dano.
Qual a diferença para a governança de IA?: A governança decide o que é permitido e quem responde. A ciberdefesa torna o permitido difícil de abusar. Compartilham evidência — registros, avaliações, aprovações —, por isso costumam ser construídas juntas.
Por onde uma equipe começa?: Escreva o modelo de ameaças de um agente, liste a pior coisa que ele poderia ser levado a fazer e retire a capacidade de fazê-la sem um humano. O resto é refinamento.
Vale para agentes que só leem?: Sim, com superfície menor. Um agente somente leitura ainda pode exfiltrar o que lê, então fronteiras de contexto e controle de saída continuam importando mesmo sem nenhuma ferramenta de escrita.