{ "slug": "agentic-threat-model", "category": "governance", "updated": "2026-08-22", "version": "1.0", "url": "https://santismm.com/en/knowledge/agentic-threat-model", "canonical_url": "https://santismm.com/en/knowledge/agentic-threat-model", "api_url": "https://santismm.com/api/knowledge/agentic-threat-model", "urls": { "en": "https://santismm.com/en/knowledge/agentic-threat-model", "es": "https://santismm.com/es/knowledge/agentic-threat-model", "pt": "https://santismm.com/pt/knowledge/agentic-threat-model", "fr": "https://santismm.com/fr/knowledge/agentic-threat-model", "de": "https://santismm.com/de/knowledge/agentic-threat-model", "ja": "https://santismm.com/ja/knowledge/agentic-threat-model", "zh": "https://santismm.com/zh/knowledge/agentic-threat-model" }, "evidence": { "evidenceLevel": "industry_observation", "confidenceLevel": "high", "sourceType": [ "industry_observation", "paper", "personal_experience" ] }, "references": [ { "title": "OWASP — Top 10 for LLM Applications", "url": "https://genai.owasp.org/llm-top-10/" }, { "title": "OWASP — LLM01: Prompt Injection", "url": "https://genai.owasp.org/llmrisk/llm01-prompt-injection/" }, { "title": "MITRE ATLAS — Adversarial Threat Landscape for AI Systems", "url": "https://atlas.mitre.org/" }, { "title": "NIST — AI Risk Management Framework (AI RMF 1.0)", "url": "https://www.nist.gov/itl/ai-risk-management-framework" } ], "related": [ "ai-cyberdefense", "prompt-injection", "guardrails", "tool-use", "agent-memory", "human-in-the-loop", "ai-governance" ], "locales": { "en": { "title": "What is an Agentic Threat Model?", "summary": "An agentic threat model is the map of how an autonomous agent can be attacked: not through its weights, but through everything it reads, remembers, calls and is allowed to do. It names the surfaces — direct and indirect prompt injection, tool poisoning, excessive agency, memory poisoning, supply chain, exfiltration channels, the confused deputy — so each one gets a control in the harness instead of a hope in the system prompt.", "definition": "An agentic threat model is a structured enumeration of the attack surfaces, adversary goals and abuse paths specific to an AI agent — its inputs, context, memory, tools, credentials and autonomy — used to decide which harness controls are required before the agent is given production access.", "takeaways": [ "Threat-model the agent's actions, not the model's outputs.", "Every input the agent reads is an instruction channel: documents, pages, tool results, other agents.", "Every tool the agent can call is a capability an attacker inherits the moment an injection succeeds.", "Memory turns a one-shot attack into a persistent one.", "Blast radius is set by credentials and egress, not by the prompt.", "An unnamed surface is not an absent one — write down accepted risks explicitly." ], "context": [ "Classic threat modelling asks what an attacker can send to your system. With agents the harder question is what your system will read on its own initiative and treat as instructions. An agent that fetches a page, opens a ticket or reads a tool result has enlarged its trust boundary without anyone deciding to.", "The second shift is agency. A chatbot that is fooled produces a wrong sentence; an agent that is fooled makes a call, moves money, deletes a branch or emails a file. The severity of a successful attack is set by the tools and credentials attached to the agent, which is why permissioning is a security decision rather than a convenience one.", "Frameworks anchor the exercise: the OWASP Top 10 for LLM Applications names the vulnerability classes and MITRE ATLAS catalogues adversary tactics observed against AI systems. Use them as checklists over your own architecture, not as substitutes for having one." ], "architecture": [ "Direct prompt injection — the person talking to the agent tries to override its instructions. Cheapest to attempt and easiest to bound, because that user is already inside whatever permission the session grants.", "Indirect prompt injection — instructions hidden in content the agent retrieves: a web page, a PDF, a ticket comment, an email, a source file, another agent's output. The attacker never talks to your agent; they plant text where it will read.", "Tool poisoning — a tool whose description or result is itself adversarial. A server can describe a benign tool at approval time and change it afterwards, so trust is checked once and exercised forever.", "Excessive agency — the agent holds permissions broader than any single task requires. Nothing has gone wrong yet; the surface is that a hijacked agent instantly inherits everything the harness was willing to grant.", "Memory poisoning — false facts or instructions written into persistent memory or a vector store, so the attack survives the session and re-triggers on future, unrelated tasks.", "Supply chain — models, system prompts, MCP servers, packages and datasets pulled from outside the organisation. A dependency that can rewrite a tool description is a dependency that can rewrite the agent's behaviour.", "Exfiltration channels — any path by which bytes can leave: an outbound fetch, an image URL rendered in a reply, an email or webhook tool, a commit. Data does not need to be read by a human to be stolen; a URL is enough.", "Confused deputy — the agent acts with credentials the requester does not have, so an attacker who cannot reach a system directly asks the agent to reach it on their behalf." ], "components": [ "Asset inventory: the data, systems and credentials the agent can touch, listed by the agent's reach rather than by the team's org chart.", "Trust boundaries: which inputs are instructions, which are data, and where that line is enforced in code rather than in prose.", "Tool catalogue with permissions: every tool, its scope, whether it writes, and what an attacker gains by calling it.", "Egress map: every way bytes can leave, including the accidental ones — link previews, rendered images, log shipping, error reporting.", "Adversary goals: exfiltrate, escalate, persist, disrupt, deceive — each mapped onto the surfaces above.", "Controls with owners: which harness component bounds each path, and who maintains it.", "Accepted risks: paths deliberately left open, with the reason and the compensating detection.", "Test cases: for each surface, the injection or abuse attempt that proves the control works. A control never seen failing is a control never verified." ], "pros": [ "It converts 'is our agent safe?' into a finite list of surfaces that each have an owner and a control.", "It makes permission decisions explicit and reviewable before production access is granted.", "It gives red teams a target list and gives evaluation suites concrete cases to automate.", "It ages well: models change often, surfaces change slowly, so the map survives the next model swap." ], "risks": [ "Modelling the chatbot and not the agent — enumerating output harms while ignoring the tools that turn them into actions.", "Treating the model as the control point. Alignment reduces attempts; it does not bound consequences.", "A document written once and never revisited. Every new tool is a new surface, so the model belongs in the change process.", "Confusing coverage with defence: naming a surface is not controlling it, and an untested control is a claim." ], "tools": [ "OWASP Top 10 for LLM Applications — shared vocabulary for the vulnerability classes.", "MITRE ATLAS — adversary tactics and techniques observed against AI systems.", "NIST AI RMF — the governance frame the map plugs into (Govern, Map, Measure, Manage).", "Agent traces and audit logs — the evidence layer; without them the model is unfalsifiable.", "Automated red-team suites — injection corpora run in CI so regressions surface before release.", "Policy and permission engines — where the conclusions of the model are actually enforced." ], "examples": [ "A support agent that reads customer email: the message body is untrusted instruction input, the CRM tool is the capability, and the reply channel is the exfiltration path. Three surfaces from one feature.", "A coding agent with repository write access and network egress: injection through a dependency's README, capability through the commit tool, exfiltration through any registry it can reach.", "A retrieval agent over an internal wiki: anyone who can edit a page can write instructions the agent will read, which makes a low-privilege internal editor an injection vector." ], "faqs": [ { "q": "How is this different from a normal threat model?", "a": "The method is the same; the surfaces are new. Classic models assume code executes instructions and data does not. With an agent, data is instructions — so retrieval, memory and tool results all become input channels an attacker can reach." }, { "q": "Do I need one if my agent is read-only?", "a": "Yes, a smaller one. A read-only agent still has an exfiltration surface — anything it can read it can be made to repeat — and 'read-only' is a property that has to be enforced at the tool layer, not assumed from the prompt." }, { "q": "Where do I start if I have nothing written?", "a": "List the tools the agent can call and the data each one reaches. That single table produces most of the map: capabilities are the blast radius, and the inputs that can reach them are the attack paths." }, { "q": "How often should it be revisited?", "a": "Whenever a tool, a data source or an autonomy level changes — those are the events that create surfaces. Model upgrades matter less than people expect; they change likelihood, not reach." } ] }, "es": { "title": "¿Qué es un Modelo de Amenazas Agéntico?", "summary": "Un modelo de amenazas agéntico es el mapa de cómo se puede atacar a un agente autónomo: no a través de sus pesos, sino de todo lo que lee, recuerda, invoca y tiene permitido hacer. Nombra las superficies —inyección de prompts directa e indirecta, envenenamiento de herramientas, exceso de agencia, envenenamiento de memoria, cadena de suministro, canales de exfiltración, diputado confundido— para que cada una tenga un control en el arnés en lugar de una esperanza en el system prompt.", "definition": "Un modelo de amenazas agéntico es la enumeración estructurada de las superficies de ataque, objetivos del adversario y rutas de abuso propias de un agente de IA —sus entradas, su contexto, su memoria, sus herramientas, sus credenciales y su autonomía— que sirve para decidir qué controles del arnés son obligatorios antes de dar al agente acceso a producción.", "takeaways": [ "Modela las amenazas sobre las acciones del agente, no sobre las salidas del modelo.", "Cada entrada que el agente lee es un canal de instrucciones: documentos, páginas, resultados de herramientas, otros agentes.", "Cada herramienta que el agente puede invocar es una capacidad que el atacante hereda en cuanto una inyección tiene éxito.", "La memoria convierte un ataque puntual en un ataque persistente.", "El radio de impacto lo fijan las credenciales y la salida de datos, no el prompt.", "Una superficie sin nombrar no es una superficie ausente: escribe los riesgos aceptados de forma explícita." ], "context": [ "El modelado de amenazas clásico pregunta qué puede enviarte un atacante. Con agentes la pregunta difícil es qué va a leer tu sistema por iniciativa propia y tratar como instrucciones. Un agente que descarga una página, abre un ticket o lee el resultado de una herramienta ha ampliado su frontera de confianza sin que nadie lo decidiera.", "El segundo cambio es la agencia. Un chatbot engañado produce una frase incorrecta; un agente engañado hace una llamada, mueve dinero, borra una rama o envía un fichero por correo. La gravedad de un ataque con éxito la fijan las herramientas y credenciales del agente: por eso los permisos son una decisión de seguridad y no de comodidad.", "Hay marcos que anclan el ejercicio: el OWASP Top 10 para aplicaciones LLM nombra las clases de vulnerabilidad y MITRE ATLAS cataloga tácticas de adversario observadas contra sistemas de IA. Úsalos como listas de comprobación sobre tu arquitectura, no como sustituto de tenerla." ], "architecture": [ "Inyección directa de prompts: la persona que habla con el agente intenta anular sus instrucciones. Es lo más barato de intentar y lo más fácil de acotar, porque ese usuario ya está dentro de los permisos que le da la sesión.", "Inyección indirecta de prompts: instrucciones escondidas en contenido que el agente recupera —una página web, un PDF, el comentario de un ticket, un correo, un fichero de código, la salida de otro agente—. El atacante nunca habla con tu agente; planta el texto donde lo va a leer.", "Envenenamiento de herramientas: una herramienta cuya descripción o resultado es en sí mismo adversarial. Un servidor puede describir una herramienta inocua en el momento de la aprobación y cambiarla después: la confianza se comprueba una vez y se ejerce para siempre.", "Exceso de agencia: el agente tiene permisos más amplios de los que requiere cualquier tarea concreta. Todavía no ha pasado nada; la superficie es que un agente secuestrado hereda al instante todo lo que el arnés estuvo dispuesto a conceder.", "Envenenamiento de memoria: hechos o instrucciones falsas escritas en memoria persistente o en un almacén vectorial, de modo que el ataque sobrevive a la sesión y se vuelve a disparar en tareas futuras sin relación.", "Cadena de suministro: modelos, system prompts, servidores MCP, paquetes y datasets traídos de fuera de la organización. Una dependencia que puede reescribir la descripción de una herramienta es una dependencia que puede reescribir el comportamiento del agente.", "Canales de exfiltración: cualquier vía por la que pueden salir bytes —una descarga saliente, la URL de una imagen renderizada en la respuesta, una herramienta de correo o webhook, un commit—. Los datos no necesitan que un humano los lea para estar robados; basta una URL.", "Diputado confundido: el agente actúa con credenciales que quien lo invoca no tiene, así que un atacante que no puede llegar a un sistema directamente le pide al agente que llegue por él." ], "components": [ "Inventario de activos: los datos, sistemas y credenciales que el agente puede tocar, listados por el alcance del agente y no por el organigrama del equipo.", "Fronteras de confianza: qué entradas son instrucciones, cuáles son datos y dónde se aplica esa línea en el código y no en la prosa.", "Catálogo de herramientas con permisos: cada herramienta, su alcance, si escribe y qué gana un atacante al invocarla.", "Mapa de salida de datos: todas las formas en que pueden salir bytes, incluidas las accidentales —previsualizaciones de enlaces, imágenes renderizadas, envío de logs, reporte de errores—.", "Objetivos del adversario: exfiltrar, escalar, persistir, interrumpir, engañar; cada uno mapeado sobre las superficies anteriores.", "Controles con responsable: qué componente del arnés acota cada ruta y quién lo mantiene.", "Riesgos aceptados: rutas que se dejan abiertas a propósito, con el motivo y la detección compensatoria.", "Casos de prueba: para cada superficie, el intento de inyección o abuso que demuestra que el control funciona. Un control que nunca se ha visto fallar es un control que nunca se ha verificado." ], "pros": [ "Convierte «¿es seguro nuestro agente?» en una lista finita de superficies, cada una con responsable y control.", "Hace explícitas y revisables las decisiones de permisos antes de conceder acceso a producción.", "Da al equipo de red team una lista de objetivos y a las suites de evaluación casos concretos que automatizar.", "Envejece bien: los modelos cambian a menudo, las superficies cambian despacio, así que el mapa sobrevive al siguiente cambio de modelo." ], "risks": [ "Modelar el chatbot y no el agente: enumerar daños de salida ignorando las herramientas que los convierten en acciones.", "Tratar el modelo como punto de control. El alineamiento reduce los intentos; no acota las consecuencias.", "Un documento escrito una vez y nunca revisado. Cada herramienta nueva es una superficie nueva, así que el modelo forma parte del proceso de cambio.", "Confundir cobertura con defensa: nombrar una superficie no es controlarla, y un control sin probar es una afirmación." ], "tools": [ "OWASP Top 10 para aplicaciones LLM: vocabulario común para las clases de vulnerabilidad.", "MITRE ATLAS: tácticas y técnicas de adversario observadas contra sistemas de IA.", "NIST AI RMF: el marco de gobierno en el que encaja el mapa (Govern, Map, Measure, Manage).", "Trazas de agente y logs de auditoría: la capa de evidencia; sin ellos el modelo es infalsable.", "Suites de red team automatizadas: corpus de inyección ejecutados en CI para que las regresiones aparezcan antes del despliegue.", "Motores de política y de permisos: donde realmente se aplican las conclusiones del modelo." ], "examples": [ "Un agente de soporte que lee correo de clientes: el cuerpo del mensaje es entrada de instrucciones no confiable, la herramienta de CRM es la capacidad y el canal de respuesta es la vía de exfiltración. Tres superficies de una sola funcionalidad.", "Un agente de programación con escritura en el repositorio y salida a red: inyección por el README de una dependencia, capacidad por la herramienta de commit, exfiltración por cualquier registro al que pueda llegar.", "Un agente de recuperación sobre una wiki interna: cualquiera que pueda editar una página puede escribir instrucciones que el agente leerá, lo que convierte a un editor interno de bajo privilegio en vector de inyección." ], "faqs": [ { "q": "¿En qué se diferencia de un modelo de amenazas normal?", "a": "El método es el mismo; las superficies son nuevas. Los modelos clásicos asumen que el código ejecuta instrucciones y los datos no. Con un agente, los datos son instrucciones: la recuperación, la memoria y los resultados de herramientas se convierten en canales de entrada al alcance del atacante." }, { "q": "¿Necesito uno si mi agente es de solo lectura?", "a": "Sí, uno más pequeño. Un agente de solo lectura sigue teniendo superficie de exfiltración —todo lo que puede leer se le puede hacer repetir— y «solo lectura» es una propiedad que hay que aplicar en la capa de herramientas, no suponer desde el prompt." }, { "q": "¿Por dónde empiezo si no tengo nada escrito?", "a": "Lista las herramientas que el agente puede invocar y los datos a los que llega cada una. Esa única tabla produce casi todo el mapa: las capacidades son el radio de impacto y las entradas que pueden alcanzarlas son las rutas de ataque." }, { "q": "¿Cada cuánto hay que revisarlo?", "a": "Siempre que cambie una herramienta, una fuente de datos o un nivel de autonomía: esos son los eventos que crean superficies. Las actualizaciones de modelo importan menos de lo que se cree; cambian la probabilidad, no el alcance." } ] }, "pt": { "title": "O que é um Modelo de Ameaças Agêntico?", "summary": "Um modelo de ameaças agêntico é o mapa de como um agente autônomo pode ser atacado: não pelos seus pesos, mas por tudo o que ele lê, memoriza, invoca e tem permissão para fazer. Ele nomeia as superfícies — injeção de prompts direta e indireta, envenenamento de ferramentas, excesso de agência, envenenamento de memória, cadeia de suprimentos, canais de exfiltração, deputado confuso — para que cada uma tenha um controle no harness em vez de uma esperança no system prompt.", "definition": "Um modelo de ameaças agêntico é a enumeração estruturada das superfícies de ataque, objetivos do adversário e caminhos de abuso próprios de um agente de IA — suas entradas, seu contexto, sua memória, suas ferramentas, suas credenciais e sua autonomia — usada para decidir quais controles do harness são obrigatórios antes de dar ao agente acesso à produção.", "takeaways": [ "Modele as ameaças sobre as ações do agente, não sobre as saídas do modelo.", "Toda entrada que o agente lê é um canal de instruções: documentos, páginas, resultados de ferramentas, outros agentes.", "Toda ferramenta que o agente pode invocar é uma capacidade que o atacante herda assim que uma injeção tem êxito.", "A memória transforma um ataque pontual em um ataque persistente.", "O raio de impacto é definido pelas credenciais e pela saída de dados, não pelo prompt.", "Uma superfície não nomeada não é uma superfície ausente: escreva os riscos aceitos de forma explícita." ], "context": [ "A modelagem de ameaças clássica pergunta o que um atacante pode enviar ao seu sistema. Com agentes, a pergunta difícil é o que o seu sistema vai ler por iniciativa própria e tratar como instruções. Um agente que baixa uma página, abre um chamado ou lê o resultado de uma ferramenta ampliou sua fronteira de confiança sem que ninguém decidisse isso.", "A segunda mudança é a agência. Um chatbot enganado produz uma frase errada; um agente enganado faz uma chamada, movimenta dinheiro, apaga um branch ou envia um arquivo por e-mail. A gravidade de um ataque bem-sucedido é definida pelas ferramentas e credenciais do agente — por isso permissionamento é uma decisão de segurança, não de conveniência.", "Existem frameworks que ancoram o exercício: o OWASP Top 10 para aplicações LLM nomeia as classes de vulnerabilidade e o MITRE ATLAS cataloga táticas de adversário observadas contra sistemas de IA. Use-os como listas de verificação sobre a sua arquitetura, não como substituto de tê-la." ], "architecture": [ "Injeção direta de prompts: a pessoa que fala com o agente tenta anular suas instruções. É o mais barato de tentar e o mais fácil de limitar, porque esse usuário já está dentro das permissões que a sessão concede.", "Injeção indireta de prompts: instruções escondidas em conteúdo que o agente recupera — uma página web, um PDF, o comentário de um chamado, um e-mail, um arquivo de código, a saída de outro agente. O atacante nunca fala com o seu agente; ele planta o texto onde o agente vai ler.", "Envenenamento de ferramentas: uma ferramenta cuja descrição ou resultado é em si adversarial. Um servidor pode descrever uma ferramenta inofensiva no momento da aprovação e alterá-la depois: a confiança é verificada uma vez e exercida para sempre.", "Excesso de agência: o agente detém permissões mais amplas do que qualquer tarefa concreta exige. Ainda não aconteceu nada; a superfície é que um agente sequestrado herda instantaneamente tudo o que o harness se dispôs a conceder.", "Envenenamento de memória: fatos ou instruções falsas gravadas em memória persistente ou em um banco vetorial, de modo que o ataque sobrevive à sessão e volta a disparar em tarefas futuras e não relacionadas.", "Cadeia de suprimentos: modelos, system prompts, servidores MCP, pacotes e datasets trazidos de fora da organização. Uma dependência que pode reescrever a descrição de uma ferramenta é uma dependência que pode reescrever o comportamento do agente.", "Canais de exfiltração: qualquer caminho pelo qual bytes possam sair — uma requisição de saída, a URL de uma imagem renderizada na resposta, uma ferramenta de e-mail ou webhook, um commit. Os dados não precisam ser lidos por um humano para estarem roubados; basta uma URL.", "Deputado confuso: o agente age com credenciais que quem o invoca não tem, então um atacante que não consegue alcançar um sistema diretamente pede ao agente que o alcance por ele." ], "components": [ "Inventário de ativos: os dados, sistemas e credenciais que o agente pode tocar, listados pelo alcance do agente e não pelo organograma do time.", "Fronteiras de confiança: quais entradas são instruções, quais são dados e onde essa linha é aplicada no código e não na prosa.", "Catálogo de ferramentas com permissões: cada ferramenta, seu escopo, se escreve e o que um atacante ganha ao invocá-la.", "Mapa de saída de dados: todas as formas pelas quais bytes podem sair, inclusive as acidentais — pré-visualizações de links, imagens renderizadas, envio de logs, relatórios de erro.", "Objetivos do adversário: exfiltrar, escalar, persistir, interromper, enganar; cada um mapeado sobre as superfícies acima.", "Controles com responsável: qual componente do harness limita cada caminho e quem o mantém.", "Riscos aceitos: caminhos deixados abertos de propósito, com o motivo e a detecção compensatória.", "Casos de teste: para cada superfície, a tentativa de injeção ou abuso que prova que o controle funciona. Um controle que nunca foi visto falhando é um controle que nunca foi verificado." ], "pros": [ "Converte “o nosso agente é seguro?” em uma lista finita de superfícies, cada uma com responsável e controle.", "Torna as decisões de permissão explícitas e revisáveis antes de conceder acesso à produção.", "Dá ao red team uma lista de alvos e às suítes de avaliação casos concretos para automatizar.", "Envelhece bem: modelos mudam com frequência, superfícies mudam devagar, então o mapa sobrevive à próxima troca de modelo." ], "risks": [ "Modelar o chatbot e não o agente: enumerar danos de saída ignorando as ferramentas que os transformam em ações.", "Tratar o modelo como ponto de controle. O alinhamento reduz as tentativas; não limita as consequências.", "Um documento escrito uma vez e nunca revisitado. Cada ferramenta nova é uma superfície nova, então o modelo faz parte do processo de mudança.", "Confundir cobertura com defesa: nomear uma superfície não é controlá-la, e um controle não testado é uma afirmação." ], "tools": [ "OWASP Top 10 para aplicações LLM: vocabulário comum para as classes de vulnerabilidade.", "MITRE ATLAS: táticas e técnicas de adversário observadas contra sistemas de IA.", "NIST AI RMF: o marco de governança em que o mapa se encaixa (Govern, Map, Measure, Manage).", "Traces de agente e logs de auditoria: a camada de evidência; sem eles o modelo é infalsificável.", "Suítes de red team automatizadas: corpora de injeção executados em CI para que regressões apareçam antes do lançamento.", "Motores de política e de permissão: onde as conclusões do modelo são de fato aplicadas." ], "examples": [ "Um agente de suporte que lê e-mails de clientes: o corpo da mensagem é entrada de instruções não confiável, a ferramenta de CRM é a capacidade e o canal de resposta é a via de exfiltração. Três superfícies em uma única funcionalidade.", "Um agente de programação com escrita no repositório e saída de rede: injeção pelo README de uma dependência, capacidade pela ferramenta de commit, exfiltração por qualquer registro que ele consiga alcançar.", "Um agente de recuperação sobre uma wiki interna: qualquer pessoa que possa editar uma página pode escrever instruções que o agente vai ler, o que transforma um editor interno de baixo privilégio em vetor de injeção." ], "faqs": [ { "q": "Em que isso difere de um modelo de ameaças normal?", "a": "O método é o mesmo; as superfícies são novas. Os modelos clássicos assumem que o código executa instruções e os dados não. Com um agente, os dados são instruções: recuperação, memória e resultados de ferramentas viram canais de entrada ao alcance do atacante." }, { "q": "Preciso de um se o meu agente é somente leitura?", "a": "Sim, um menor. Um agente somente leitura ainda tem superfície de exfiltração — tudo o que ele pode ler pode ser levado a repetir — e “somente leitura” é uma propriedade que precisa ser aplicada na camada de ferramentas, não presumida a partir do prompt." }, { "q": "Por onde começo se não tenho nada escrito?", "a": "Liste as ferramentas que o agente pode invocar e os dados que cada uma alcança. Essa única tabela produz quase todo o mapa: as capacidades são o raio de impacto e as entradas que conseguem alcançá-las são os caminhos de ataque." }, { "q": "Com que frequência deve ser revisitado?", "a": "Sempre que uma ferramenta, uma fonte de dados ou um nível de autonomia mudar — esses são os eventos que criam superfícies. Atualizações de modelo importam menos do que se imagina; mudam a probabilidade, não o alcance." } ] }, "fr": { "title": "Qu'est-ce qu'un modèle de menace agentique ?", "summary": "Un modèle de menace agentique cartographie la manière dont un agent autonome peut être attaqué : non pas à travers ses poids, mais à travers tout ce qu'il lit, mémorise, appelle et est autorisé à faire. Il identifie les surfaces d'attaque — injection de prompt directe et indirecte, empoisonnement d'outils, agentivité excessive, empoisonnement de la mémoire, chaîne d'approvisionnement, canaux d'exfiltration, le problème du député confus — afin que chacune bénéficie d'un contrôle dans le harness plutôt que d'un simple espoir dans le prompt système.", "definition": "Un modèle de menace agentique est une énumération structurée des surfaces d'attaque, des objectifs de l'adversaire et des voies d'abus spécifiques à un agent IA — ses entrées, son contexte, sa mémoire, ses outils, ses identifiants et son autonomie — utilisée pour décider quels contrôles de harness sont requis avant de donner à l'agent un accès à la production.", "takeaways": [ "Modélisez les menaces pesant sur les actions de l'agent, et non sur les sorties du modèle.", "Chaque entrée lue par l'agent est un canal d'instructions : documents, pages, résultats d'outils, autres agents.", "Chaque outil que l'agent peut appeler est une capacité dont l'attaquant hérite dès qu'une injection réussit.", "La mémoire transforme une attaque ponctuelle en une attaque persistante.", "Le rayon d'impact est défini par les identifiants et les flux sortants, non par le prompt.", "Une surface d'attaque non identifiée n'est pas une surface absente — consignez explicitement par écrit les risques acceptés." ], "context": [ "La modélisation classique des menaces s'intéresse à ce qu'un attaquant peut envoyer à votre système. Avec les agents, la question la plus difficile est de savoir ce que votre système va lire de sa propre initiative et traiter comme des instructions. Un agent qui récupère une page, ouvre un ticket ou lit le résultat d'un outil a élargi sa frontière de confiance sans que personne ne l'ait explicitement décidé.", "Le second changement réside dans l'agentivité. Un chatbot trompé produit une phrase erronée ; un agent trompé effectue un appel, transfère de l'argent, supprime une branche ou envoie un fichier par e-mail. La gravité d'une attaque réussie est déterminée par les outils et les identifiants associés à l'agent, c'est pourquoi la gestion des permissions est une décision de sécurité et non de commodité.", "Des frameworks structurent cet exercice : l'OWASP Top 10 pour les applications LLM répertorie les classes de vulnérabilités et MITRE ATLAS catalogue les tactiques adverses observées contre les systèmes d'IA. Utilisez-les comme des listes de contrôle pour votre propre architecture, et non comme des substituts à celle-ci." ], "architecture": [ "Injection de prompt directe — la personne qui interagit avec l'agent tente de contourner ses instructions. C'est la tentative la moins coûteuse et la plus facile à limiter, car cet utilisateur se trouve déjà dans les limites des permissions accordées par la session.", "Injection de prompt indirecte — instructions dissimulées dans le contenu récupéré par l'agent : une page web, un PDF, un commentaire de ticket, un e-mail, un fichier source, la sortie d'un autre agent. L'attaquant n'interagit jamais directement avec votre agent ; il place du texte là où l'agent va le lire.", "Empoisonnement d'outil — un outil dont la description ou le résultat est lui-même malveillant. Un serveur peut décrire un outil inoffensif au moment de l'approbation et le modifier par la suite, de sorte que la confiance est vérifiée une seule fois mais exploitée indéfiniment.", "Agentivité excessive — l'agent détient des permissions plus larges que ce que requiert une tâche unique. Rien n'a encore mal tourné ; la surface d'attaque réside dans le fait qu'un agent détourné hérite instantanément de tout ce que le harness était prêt à lui accorder.", "Empoisonnement de la mémoire — de faux faits ou instructions sont écrits dans la mémoire persistante ou une base de données vectorielle, de sorte que l'attaque survit à la session et se déclenche à nouveau lors de tâches futures et non liées.", "Chaîne d'approvisionnement — modèles, prompts système, serveurs MCP, packages et jeux de données importés de l'extérieur de l'organisation. Une dépendance capable de réécrire la description d'un outil est une dépendance capable de réécrire le comportement de l'agent.", "Canaux d'exfiltration — toute voie par laquelle des octets peuvent sortir : une requête fetch sortante, une URL d'image affichée dans une réponse, un outil d'e-mail ou de webhook, un commit. Les données n'ont pas besoin d'être lues par un humain pour être volées ; une URL suffit.", "Député confus — l'agent agit avec des identifiants que le demandeur ne possède pas, de sorte qu'un attaquant ne pouvant pas accéder directement à un système demande à l'agent d'y accéder pour son compte." ], "components": [ "Inventaire des actifs : les données, systèmes et identifiants auxquels l'agent peut accéder, répertoriés selon la portée de l'agent plutôt que selon l'organigramme de l'équipe.", "Limites de confiance : quelles entrées sont des instructions, lesquelles sont des données, et où cette frontière est appliquée dans le code plutôt que dans du texte brut.", "Catalogue d'outils avec permissions : chaque outil, sa portée, s'il effectue des écritures, et ce qu'un attaquant gagne en l'appelant.", "Carte des sorties : toutes les manières dont des octets peuvent s'échapper, y compris accidentelles — aperçus de liens, images affichées, transfert de journaux, rapports d'erreurs.", "Objectifs de l'adversaire : exfiltrer, élever les privilèges, persister, perturber, tromper — chacun étant mis en correspondance avec les surfaces ci-dessus.", "Contrôles avec responsables : quel composant du harness limite chaque chemin, et qui en assure la maintenance.", "Risques acceptés : chemins délibérément laissés ouverts, avec la justification et la détection compensatoire associée.", "Cas de test : pour chaque surface, la tentative d'injection ou d'abus qui prouve l'efficacité du contrôle. Un contrôle que l'on n'a jamais vu échouer est un contrôle qui n'a jamais été vérifié." ], "pros": [ "Il transforme la question « notre agent est-il sûr ? » en une liste finie de surfaces disposant chacune d'un responsable et d'un contrôle.", "Il rend les décisions relatives aux permissions explicites et vérifiables avant que l'accès à la production ne soit accordé.", "Il fournit aux red teams une liste de cibles et offre aux suites d'évaluation des cas concrets à automatiser.", "Il vieillit bien : les modèles changent souvent, les surfaces évoluent lentement, de sorte que la cartographie survit au prochain changement de modèle." ], "risks": [ "Modéliser le chatbot et non l'agent — énumérer les préjudices liés aux sorties tout en ignorant les outils qui les transforment en actions.", "Traiter le modèle comme le point de contrôle. L'alignement réduit les tentatives ; il ne limite pas les conséquences.", "Un document rédigé une fois et jamais révisé. Chaque nouvel outil constitue une nouvelle surface, le modèle doit donc être intégré au processus de gestion du changement.", "Confondre couverture et défense : nommer une surface ne signifie pas la contrôler, et un contrôle non testé n'est qu'une simple affirmation." ], "tools": [ "OWASP Top 10 for LLM Applications — vocabulaire partagé pour les classes de vulnérabilités.", "MITRE ATLAS — tactiques et techniques des adversaires observées contre les systèmes d'IA.", "NIST AI RMF — le cadre de gouvernance dans lequel s'inscrit la cartographie (Gouverner, Cartographier, Mesurer, Gérer).", "Traces d'agents et journaux d'audit — la couche de preuves ; sans elles, le modèle est invérifiable.", "Suites de red-teaming automatisées — corpus d'injections exécutés en CI pour que les régressions apparaissent avant la mise en production.", "Moteurs de politiques et de permissions — là où les conclusions du modèle sont réellement appliquées." ], "examples": [ "Un agent de support qui lit les e-mails des clients : le corps du message est une entrée d'instruction non approuvée, l'outil CRM est la capacité, et le canal de réponse est le chemin d'exfiltration. Trois surfaces pour une seule fonctionnalité.", "Un agent de codage avec accès en écriture au dépôt et sortie réseau : injection via le README d'une dépendance, capacité via l'outil de commit, exfiltration via tout registre qu'il peut atteindre.", "Un agent de recherche sur un wiki interne : toute personne pouvant modifier une page peut rédiger des instructions que l'agent lira, ce qui fait d'un éditeur interne à faibles privilèges un vecteur d'injection." ], "faqs": [ { "q": "En quoi cela diffère-t-il d'un modèle de menace classique ?", "a": "La méthode est la même ; ce sont les surfaces qui sont nouvelles. Les modèles classiques partent du principe que le code exécute des instructions et que les données n'en contiennent pas. Avec un agent, les données sont des instructions — ainsi, la recherche, la mémoire et les résultats des outils deviennent tous des canaux d'entrée accessibles par un attaquant." }, { "q": "En ai-je besoin si mon agent est en lecture seule ?", "a": "Oui, mais plus restreint. Un agent en lecture seule possède toujours une surface d'exfiltration — on peut lui faire répéter tout ce qu'il peut lire — et la « lecture seule » est une propriété qui doit être appliquée au niveau de la couche de l'outil, et non supposée à partir du prompt." }, { "q": "Par quoi commencer si je n'ai encore rien rédigé ?", "a": "Listez les outils que l'agent peut appeler et les données auxquelles chacun accède. Ce simple tableau génère la majeure partie de la cartographie : les capacités représentent le rayon d'impact, et les entrées qui peuvent les atteindre constituent les chemins d'attaque." }, { "q": "À quelle fréquence doit-il être révisé ?", "a": "Chaque fois qu'un outil, une source de données ou un niveau d'autonomie change — ce sont ces événements qui créent des surfaces. Les mises à niveau des modèles importent moins qu'on ne le pense ; elles modifient la probabilité, pas la portée." } ] }, "de": { "title": "Was ist ein Agentic Threat Model?", "summary": "Ein Agentic Threat Model ist die Abbildung dessen, wie ein autonomer Agent angegriffen werden kann: nicht über seine Gewichte, sondern über alles, was er liest, sich merkt, aufruft und tun darf. Es benennt die Angriffsflächen – direkte und indirekte Prompt Injection, Tool Poisoning, übermäßige Handlungsfähigkeit (Excessive Agency), Memory Poisoning, Lieferkette, Exfiltrationskanäle, der Confused Deputy –, sodass jede einzelne eine Kontrolle im Harness erhält, statt nur auf eine Hoffnung im System-Prompt zu setzen.", "definition": "Ein Agentic Threat Model ist eine strukturierte Aufzählung der Angriffsflächen, Angreiferziele und Missbrauchspfade, die spezifisch für einen KI-Agenten sind – seine Eingaben, sein Kontext, sein Speicher, seine Tools, seine Anmeldedaten und seine Autonomie. Es dient der Entscheidung, welche Harness-Kontrollen erforderlich sind, bevor dem Agenten Zugriff auf die Produktion gewährt wird.", "takeaways": [ "Erstellen Sie das Bedrohungsmodell für die Aktionen des Agenten, nicht für die Ausgaben des Modells.", "Jede Eingabe, die der Agent liest, ist ein Anweisungskanal: Dokumente, Seiten, Tool-Ergebnisse, andere Agenten.", "Jedes Tool, das der Agent aufrufen kann, ist eine Fähigkeit, die ein Angreifer in dem Moment erbt, in dem eine Injection erfolgreich ist.", "Speicher verwandelt einen One-Shot-Angriff in einen persistenten Angriff.", "Der Blast Radius wird durch Anmeldedaten und Egress bestimmt, nicht durch den Prompt.", "Eine unbenannte Angriffsfläche ist keine nicht vorhandene – schreiben Sie akzeptierte Risiken explizit auf." ], "context": [ "Klassisches Threat Modelling fragt danach, was ein Angreifer an Ihr System senden kann. Bei Agenten lautet die schwierigere Frage, was Ihr System von sich aus liest und als Anweisungen behandelt. Ein Agent, der eine Seite abruft, ein Ticket öffnet oder ein Tool-Ergebnis liest, hat seine Vertrauensgrenze erweitert, ohne dass dies jemand explizit beschlossen hat.", "Die zweite Verschiebung betrifft die Handlungsfähigkeit (Agency). Ein Chatbot, der getäuscht wird, erzeugt einen falschen Satz; ein Agent, der getäuscht wird, tätigt einen Anruf, transferiert Geld, löscht einen Branch oder versendet eine Datei per E-Mail. Die Schwere eines erfolgreichen Angriffs wird durch die dem Agenten zugewiesenen Tools und Anmeldedaten bestimmt, weshalb die Rechtevergabe eine Sicherheitsentscheidung und keine reine Komfortentscheidung ist.", "Frameworks verankern diese Praxis: Die OWASP Top 10 für LLM-Anwendungen benennen die Schwachstellenklassen und MITRE ATLAS katalogisiert die gegen KI-Systeme beobachteten Taktiken von Angreifern. Nutzen Sie diese als Checklisten für Ihre eigene Architektur, nicht als Ersatz für eine solche." ], "architecture": [ "Direkte Prompt Injection – die Person, die mit dem Agenten spricht, versucht, dessen Anweisungen außer Kraft zu setzen. Am einfachsten zu versuchen und am leichtesten einzugrenzen, da sich dieser Benutzer bereits innerhalb der Berechtigungen befindet, die die Sitzung gewährt.", "Indirekte Prompt Injection – Anweisungen, die in Inhalten versteckt sind, die der Agent abruft: eine Webseite, ein PDF, ein Ticket-Kommentar, eine E-Mail, eine Quelldatei, die Ausgabe eines anderen Agenten. Der Angreifer spricht nie direkt mit Ihrem Agenten; er platziert Text dort, wo der Agent ihn lesen wird.", "Tool Poisoning – ein Tool, dessen Beschreibung oder Ergebnis selbst schädlich ist. Ein Server kann zum Zeitpunkt der Genehmigung ein harmloses Tool beschreiben und es danach ändern, sodass Vertrauen einmal geprüft und für immer ausgeübt wird.", "Übermäßige Handlungsbefugnis (Excessive Agency) — der Agent besitzt Berechtigungen, die über das für eine einzelne Aufgabe erforderliche Maß hinausgehen. Noch ist nichts schiefgegangen; die Angriffsfläche besteht darin, dass ein gekaperter Agent sofort alle Rechte erbt, die das Harness zu gewähren bereit war.", "Memory Poisoning (Speichermanipulation) — falsche Fakten oder Anweisungen, die in den persistenten Speicher oder einen Vektorspeicher geschrieben werden, sodass der Angriff die Sitzung überdauert und bei zukünftigen, nicht damit zusammenhängenden Aufgaben erneut ausgelöst wird.", "Lieferkette (Supply Chain) — Modelle, System-Prompts, MCP-Server, Pakete und Datensätze, die von außerhalb der Organisation bezogen werden. Eine Abhängigkeit, die eine Tool-Beschreibung umschreiben kann, ist eine Abhängigkeit, die das Verhalten des Agenten umschreiben kann.", "Exfiltrationskanäle — jeder Pfad, über den Bytes abfließen können: ein ausgehender Fetch-Aufruf, eine in einer Antwort gerenderte Bild-URL, ein E-Mail- oder Webhook-Tool, ein Commit. Daten müssen nicht von einem Menschen gelesen werden, um gestohlen zu werden; eine URL genügt.", "Confused Deputy — der Agent agiert mit Anmeldedaten, die der Anforderer selbst nicht besitzt, sodass ein Angreifer, der ein System nicht direkt erreichen kann, den Agenten bittet, in seinem Namen darauf zuzugreifen." ], "components": [ "Asset-Inventar: die Daten, Systeme und Anmeldedaten, auf die der Agent zugreifen kann, aufgelistet nach der Reichweite des Agenten und nicht nach dem Organigramm des Teams.", "Vertrauensgrenzen (Trust Boundaries): Welche Eingaben sind Anweisungen, welche sind Daten, und an welcher Stelle diese Grenze im Code statt in Textform erzwungen wird.", "Tool-Katalog mit Berechtigungen: jedes Tool, sein Umfang, ob es Schreibrechte besitzt und was ein Angreifer durch dessen Aufruf gewinnt.", "Egress-Map (Abflusspfade): Jeder Weg, auf dem Bytes abfließen können, einschließlich unbeabsichtigter Wege — Link-Vorschauen, gerenderte Bilder, Log-Versand, Fehlerberichterstattung.", "Ziele des Angreifers: Exfiltrieren, Rechte ausweiten (Escalate), Persistenz etablieren, Stören, Täuschen — jeweils auf die oben genannten Angriffsflächen abgebildet.", "Sicherheitskontrollen (Controls) mit Verantwortlichen: Welche Harness-Komponente den jeweiligen Pfad begrenzt und wer diese pflegt.", "Akzeptierte Risiken: bewusst offengehaltene Pfade, inklusive Begründung und kompensierender Erkennungsmaßnahmen.", "Testfälle: für jede Angriffsfläche der Injektions- oder Missbrauchsversuch, der beweist, dass die Sicherheitskontrolle funktioniert. Eine Kontrolle, deren Fehlschlagen man nie beobachtet hat, ist eine nicht verifizierte Kontrolle." ], "pros": [ "Es verwandelt die Frage „Ist unser Agent sicher?“ in eine endliche Liste von Angriffsflächen, die jeweils einen Verantwortlichen und eine Sicherheitskontrolle haben.", "Es macht Berechtigungsentscheidungen explizit und überprüfbar, bevor der Zugriff auf die Produktionsumgebung gewährt wird.", "Es liefert Red Teams eine Zielliste und bietet Evaluierungs-Suites konkrete Fälle zur Automatisierung.", "Es altert gut: Modelle ändern sich oft, Angriffsflächen ändern sich langsam, sodass die Übersicht den nächsten Modellwechsel überdauert." ], "risks": [ "Den Chatbot statt des Agenten zu modellieren — also Risiken bei der Ausgabe aufzuzählen, während die Tools ignoriert werden, die diese Ausgaben in Aktionen umsetzen.", "Das Modell als Kontrollpunkt zu behandeln. Alignment reduziert Versuche; es begrenzt nicht die Konsequenzen.", "Ein einmal geschriebenes Dokument, das nie wieder angerührt wird. Jedes neue Tool ist eine neue Angriffsfläche, daher gehört das Modell in den Change-Prozess.", "Abdeckung mit Abwehr zu verwechseln: Eine Angriffsfläche zu benennen bedeutet nicht, sie zu kontrollieren, und eine ungeprüfte Kontrolle ist lediglich eine Behauptung." ], "tools": [ "OWASP Top 10 für LLM-Anwendungen — ein gemeinsames Vokabular für die Schwachstellenklassen.", "MITRE ATLAS — Taktiken und Techniken von Angreifern, die bei KI-Systemen beobachtet wurden.", "NIST AI RMF — der Governance-Rahmen, in den sich die Übersicht einfügt (Govern, Map, Measure, Manage).", "Agenten-Traces und Audit-Logs — die Nachweisebene; ohne sie ist das Modell nicht falsifizierbar.", "Automatisierte Red-Team-Suites — Injektions-Korpora, die in der CI ausgeführt werden, damit Regressionen vor dem Release auffallen.", "Richtlinien- und Berechtigungs-Engines — dort, wo die Schlussfolgerungen des Modells tatsächlich durchgesetzt werden." ], "examples": [ "Ein Support-Agent, der Kunden-E-Mails liest: Der Nachrichtentext ist eine nicht vertrauenswürdige Anweisungseingabe, das CRM-Tool ist die Funktion (Capability) und der Antwortkanal ist der Exfiltrationspfad. Drei Angriffsflächen aus einem einzigen Feature.", "Ein Coding-Agent mit Schreibzugriff auf das Repository und Netzwerk-Egress: Injektion über die README einer Abhängigkeit, Funktion über das Commit-Tool, Exfiltration über jede erreichbare Registry.", "Ein Retrieval-Agent für ein internes Wiki: Jeder, der eine Seite bearbeiten kann, kann Anweisungen schreiben, die der Agent liest, was einen internen Editor mit geringen Rechten zu einem Injektionsvektor macht." ], "faqs": [ { "q": "Wie unterscheidet sich dies von einer normalen Bedrohungsanalyse (Threat Model)?", "a": "Die Methode ist dieselbe, die Angriffsflächen sind neu. Klassische Modelle gehen davon aus, dass Code Anweisungen ausführt und Daten dies nicht tun. Bei einem Agenten sind Daten Anweisungen — somit werden Retrieval, Speicher und Tool-Ergebnisse alle zu Eingangskanälen, die ein Angreifer erreichen kann." }, { "q": "Benötige ich eine Bedrohungsanalyse, wenn mein Agent schreibgeschützt (read-only) ist?", "a": "Ja, eine kleinere. Ein schreibgeschützter Agent hat immer noch eine Exfiltrationsfläche — alles, was er lesen kann, kann er auch wiederholen —, und „schreibgeschützt“ ist eine Eigenschaft, die auf der Tool-Ebene erzwungen werden muss und nicht einfach im Prompt vorausgesetzt werden darf." }, { "q": "Wo fange ich an, wenn ich noch nichts schriftlich festgehalten habe?", "a": "Listen Sie die Tools auf, die der Agent aufrufen kann, und die Daten, auf die jedes Tool zugreift. Diese eine Tabelle liefert den Großteil der Übersicht: Funktionen (Capabilities) stellen den Schadensradius (Blast Radius) dar, und die Eingaben, die sie erreichen können, sind die Angriffspfade." }, { "q": "Wie oft sollte sie überarbeitet werden?", "a": "Immer wenn sich ein Tool, eine Datenquelle oder eine Autonomiestufe ändert — das sind die Ereignisse, die neue Angriffsflächen schaffen. Modell-Upgrades sind weniger wichtig als gedacht; sie ändern die Wahrscheinlichkeit, nicht die Reichweite." } ] }, "ja": { "title": "アジェンティック脅威モデルとは何ですか？", "summary": "アジェンティック脅威モデルとは、自律型エージェントがどのように攻撃され得るかを示すマップです。これはモデルの重み（ウェイト）を介した攻撃ではなく、エージェントが読み取り、記憶し、呼び出し、実行を許可されているすべての要素を対象とします。直接的および間接的なプロンプトインジェクション、ツールの汚染（ツールポイズニング）、過剰なエージェンシー、メモリの汚染、サプライチェーン、情報の流出経路、混乱した代理人（Confused Deputy）問題などの攻撃対象領域（サーフェス）を特定し、システムプロンプトに期待するのではなく、ハーネス内でそれぞれに対する制御（コントロール）を実装できるようにします。", "definition": "アジェンティック脅威モデルとは、AIエージェントに特有の攻撃対象領域、攻撃者の目標、および悪用経路（入力、コンテキスト、メモリ、ツール、資格情報、自律性など）を構造化して列挙したものです。これは、エージェントに本番環境へのアクセス権を付与する前に、どのハーネス制御が必要かを決定するために使用されます。", "takeaways": [ "モデルの出力ではなく、エージェントのアクションを対象に脅威モデリングを行う。", "エージェントが読み取るすべての入力（ドキュメント、ページ、ツールの実行結果、他のエージェントなど）は、指示チャネルとなる。", "エージェントが呼び出せるすべてのツールは、インジェクションが成功した瞬間に攻撃者が継承する能力となる。", "メモリは、単発の（ワンショット）攻撃を持続的な攻撃へと変化させる。", "影響範囲（ブラストライジアス）は、プロンプトではなく、資格情報と送信（エグレス）制限によって決定される。", "明文化されていない攻撃対象領域が存在しないわけではない。許容されたリスクは明示的に文書化する。" ], "context": [ "従来の脅威モデリングでは、攻撃者がシステムに何を送信できるかを問いかけます。しかしエージェントの場合、より困難な問いは「システムが自発的に何を読み取り、それを指示として扱うか」です。ページを取得したり、チケットを開いたり、ツールの実行結果を読み取ったりするエージェントは、誰も意図しないうちに自らの信頼境界（トラストバウンダリ）を拡大してしまっています。", "2つ目の移行はエージェンシー（自律性）です。騙されたチャットボットは誤った文章を生成するだけですが、騙されたエージェントはAPIを呼び出し、資金を移動し、ブランチを削除し、あるいはファイルをメールで送信します。攻撃成功時の深刻度は、エージェントに紐付けられたツールと資格情報によって決定されます。そのため、権限付与は利便性のための判断ではなく、セキュリティ上の決定なのです。", "フレームワークは、この取り組みの指針となります。「OWASP Top 10 for LLM Applications」は脆弱性の分類を定義し、「MITRE ATLAS」はAIシステムに対して観測された攻撃者の戦術をカタログ化しています。これらは、独自のアーキテクチャを構築する代わりにするのではなく、そのアーキテクチャを検証するためのチェックリストとして使用してください。" ], "architecture": [ "直接的プロンプトインジェクション — エージェントと対話している人物が、その指示を上書きしようと試みます。セッションに付与された権限の範囲内にユーザーがすでに存在するため、最も低コストで試行でき、制限するのも最も容易です。", "間接的プロンプトインジェクション — エージェントが取得するコンテンツ（Webページ、PDF、チケットのコメント、メール、ソースファイル、他のエージェントの出力など）に指示が隠されているケースです。攻撃者はエージェントと直接対話することはなく、エージェントが読み取る場所にテキストを仕込みます。", "ツールの汚染（ツールポイズニング） — ツールの説明や実行結果自体が敵対的なものであるケースです。サーバーは承認時には無害なツールとして説明し、承認後にそれを変更することができるため、信頼性のチェックが一度行われただけで、永続的に実行されてしまうリスクがあります。", "過剰なエージェンシー（Excessive agency） — エージェントが、個々のタスクが必要とするよりも広範な権限を保持している状態。まだ問題は発生していませんが、乗っ取られたエージェントが、ハーネスが許可していたすべての権限を即座に引き継いでしまうという攻撃対象領域（サーフェス）が存在します。", "メモリポイズニング（Memory poisoning） — 永続メモリやベクトルストアに誤った事実や指示が書き込まれることで、攻撃がセッションを超えて存続し、将来の無関係なタスクで再実行されること。", "サプライチェーン — 組織の外部から取り込まれるモデル、システムプロンプト、MCPサーバー、パッケージ、データセット。ツールの説明を書き換えられる依存関係は、エージェントの動作を書き換えられる依存関係と同義です。", "流出チャネル（Exfiltration channels） — バイトデータが外部に流出する可能性のあるあらゆる経路：アウトバウンドのfetch、返答内にレンダリングされた画像URL、メールやWebhookツール、コミットなど。データが盗まれるために人間がそれを読む必要はありません。URLだけで十分です。", "代理の混乱（Confused deputy） — エージェントが要求元（リクエスター）の持っていない資格情報を使用して動作するため、システムに直接アクセスできない攻撃者が、エージェントに代理でアクセスするよう要求すること。" ], "components": [ "資産インベントリ：エージェントがアクセスできるデータ、システム、資格情報。チームの組織図ではなく、エージェントの到達範囲に基づいてリスト化されます。", "信頼境界（Trust boundaries）：どの入力が指示で、どの入力がデータであるか、そしてその境界線が自然言語（プロース）ではなくコードでどのように強制されているか。", "権限付きツールカタログ：すべてのツール、そのスコープ、書き込みを行うかどうか、および攻撃者がそれを呼び出すことで何を得られるか。", "エグレス（送信）マップ：リンクプレビュー、レンダリングされた画像、ログ転送、エラーレポートなど、意図しないものも含めて、バイトデータが外部に流出するあらゆる経路。", "敵対者の目標：流出、権限昇格、永続化、妨害、欺瞞 — それぞれが上記の攻撃対象領域（サーフェス）にマッピングされます。", "オーナー付きのコントロール：どのハーネスコンポーネントが各経路を制限しているか、およびその維持管理の担当者。", "許容されたリスク：意図的に開放されたままにしている経路、その理由、および補完的な検知策。", "テストケース：各攻撃対象領域（サーフェス）において、コントロールが機能していることを証明するインジェクションや悪用の試み。失敗が確認されたことのないコントロールは、検証されたことのないコントロールと同義です。" ], "pros": [ "『私たちのエージェントは安全か？』という問いを、それぞれにオーナーとコントロールが存在する、有限の攻撃対象領域（サーフェス）のリストへと変換します。", "本番環境へのアクセス権限が許可される前に、権限に関する決定を明確にし、レビュー可能にします。", "レッドチームにターゲットリストを提供し、評価スイートに自動化のための具体的なケースを提供します。", "経年劣化しにくい：モデルは頻繁に変更されますが、攻撃対象領域（サーフェス）の変化は緩やかであるため、このマップは次のモデルの入れ替え時にも有効であり続けます。" ], "risks": [ "エージェントではなくチャットボットをモデル化してしまうこと — 出力による害を列挙する一方で、それらを実行に移すツールを無視してしまうこと。", "モデルをコントロールポイント（制御点）として扱ってしまうこと。アライメントは試みを減らすことはできますが、結果を制限することはできません。", "一度作成されたきり、二度と見直されないドキュメント。新しいツールはすべて新しい攻撃対象領域（サーフェス）となるため、モデルは変更プロセスに組み込まれるべきです。", "カバレッジと防御を混同すること：攻撃対象領域（サーフェス）を特定することはそれを制御することではなく、テストされていないコントロールは単なる主張にすぎません。" ], "tools": [ "OWASP Top 10 for LLM Applications — 脆弱性クラスの共通語彙。", "MITRE ATLAS — AIシステムに対して観測された敵対者の戦術と技術。", "NIST AI RMF — マップが組み込まれるガバナンスフレームワーク（Govern、Map、Measure、Manage）。", "エージェントのトレースと監査ログ — エビデンス（証拠）レイヤー。これらがなければ、モデルの反証は不可能です。", "自動レッドチームスイート — リリース前にデグレード（先祖返り）を表面化させるために、CIで実行されるインジェクションコーパス。", "ポリシーおよび権限エンジン — モデルの結論が実際に強制適用される場所。" ], "examples": [ "顧客のメールを読み取るサポートエージェント：メッセージ本文は信頼できない指示入力であり、CRMツールは機能（ケイパビリティ）、返信チャネルは流出経路となります。1つの機能から3つの攻撃対象領域（サーフェス）が生じます。", "リポジトリへの書き込み権限とネットワーク送信（エグレス）権限を持つコーディングエージェント：依存関係のREADMEを介したインジェクション、コミットツールを介した機能（ケイパビリティ）、アクセス可能な任意のレジストリを介した流出。", "社内Wikiを対象とする検索（RAG）エージェント：ページを編集できる人なら誰でもエージェントが読み取る指示を書き込めるため、低権限の社内編集者がインジェクションベクターになります。" ], "faqs": [ { "q": "通常の脅威モデルと何が違うのですか？", "a": "手法は同じですが、攻撃対象領域（サーフェス）が新しくなっています。従来のモデルでは、コードが指示を実行し、データは実行しないと仮定していました。エージェントの場合、データが指示となります。そのため、検索結果、メモリ、ツールの実行結果のすべてが、攻撃者がアクセス可能な入力チャネルになります。" }, { "q": "エージェントが読み取り専用の場合でも、脅威モデルは必要ですか？", "a": "はい、小規模なものが必要です。読み取り専用のエージェントであっても、流出の攻撃対象領域（サーフェス）は存在します（読み取れるものは何でも復唱させられる可能性があります）。また、『読み取り専用』という属性は、プロンプトから想定するのではなく、ツールレイヤーで強制適用される必要があります。" }, { "q": "何も文書化されていない場合、どこから始めればよいですか？", "a": "エージェントが呼び出せるツールと、それぞれがアクセスするデータをリストアップします。その1つの表からマップの大部分が作成されます。機能（ケイパビリティ）が影響範囲（ブラストラジアス）となり、それらに到達可能な入力が攻撃経路となります。" }, { "q": "どのくらいの頻度で見直すべきですか？", "a": "ツール、データソース、または自律性のレベルが変更されるたびに見直す必要があります。これらは攻撃対象領域（サーフェス）を生み出すイベントだからです。モデルのアップグレードは、一般に思われているほど重要ではありません。アップグレードによって変わるのは発生可能性であり、到達範囲ではないからです。" } ] }, "zh": { "title": "什么是智能体威胁模型？", "summary": "智能体威胁模型是自主智能体可能遭受攻击的路径图：攻击并非通过其权重进行，而是通过它所读取、记忆、调用以及被允许执行的一切操作。它指明了各种攻击面——直接和间接提示词注入、工具投毒、过度授权、记忆投毒、供应链、数据外泄通道、混淆代理——从而让每一个攻击面都能在支撑系统中得到具体控制，而不是寄希望于系统提示词。", "definition": "智能体威胁模型是对AI智能体特有的攻击面、对手目标和滥用路径（包括其输入、上下文、记忆、工具、凭证和自主权）进行的结构化列举，用于在授予智能体生产环境访问权限之前，决定需要哪些支撑系统控制措施。", "takeaways": [ "对智能体的行为进行威胁建模，而不是对模型的输出进行威胁建模。", "智能体读取的每个输入都是一个指令通道：文档、页面、工具结果、其他智能体。", "智能体可以调用的每个工具，都是攻击者在注入成功那一刻所继承的能力。", "记忆会将单次攻击转变为持久性攻击。", "爆炸半径（受损范围）由凭证和出口决定，而不是由提示词决定。", "未被指明的攻击面并不意味着它存在——请明确记录已接受的风险。" ], "context": [ "传统的威胁建模关注攻击者可以向你的系统发送什么。而对于智能体，更难的问题是你的系统会主动读取什么并将其视为指令。一个获取页面、打开工单或读取工具结果的智能体，在未经任何人决策的情况下，就已经扩大了其信任边界。", "第二个转变是能动性。一个被愚弄的聊天机器人只会产生错误的句子；而一个被愚弄的智能体则会进行调用、转账、删除分支或发送包含文件的电子邮件。成功攻击的严重程度取决于绑定到该智能体的工具和凭证，这就是为什么权限授予是一个安全决策，而不仅仅是为了方便。", "框架为这一实践提供了支撑：OWASP Top 10 for LLM Applications 命名了漏洞类别，而 MITRE ATLAS 则编目了针对 AI 系统观察到的对手战术。将它们用作针对你自己架构的检查清单，而不是替代架构本身。" ], "architecture": [ "直接提示词注入——与智能体对话的人试图覆盖其指令。这种尝试成本最低，也最容易限制，因为该用户已经处于会话所授予的任何权限范围内。", "间接提示词注入——隐藏在智能体检索内容中的指令：网页、PDF、工单评论、电子邮件、源文件或其他智能体的输出。攻击者从未直接与你的智能体对话，他们只是在智能体将要读取的地方植入文本。", "工具投毒——工具的描述或结果本身具有对抗性。服务器可以在审批时将工具描述为无害的，并在之后对其进行修改，从而实现“一次审核，永久使用”的信任滥用。", "过度授权（Excessive agency）——智能体拥有的权限超出了任何单一任务所需的范围。目前还没有发生任何问题；其隐患在于，一旦智能体被劫持，它将立即继承支撑系统（harness）愿意授予的所有权限。", "内存毒化（Memory poisoning）——将虚假事实或指令写入持久化内存或向量数据库中，从而使攻击在会话结束后依然存在，并在未来无关的任务中重新触发。", "供应链（Supply chain）——从组织外部拉取的模型、系统提示词、MCP 服务器、依赖包和数据集。一个能够重写工具描述的依赖项，同样能够重写智能体的行为。", "外发通道（Exfiltration channels）——任何字节可以流出的路径：出站 fetch 请求、回复中渲染的图片 URL、电子邮件或 webhook 工具、提交（commit）。数据不需要被人类读取才算被盗；一个 URL 就足够了。", "混淆代理（Confused deputy）——智能体使用请求者不具备的凭据执行操作，因此无法直接访问系统的攻击者会要求智能体代表其进行访问。" ], "components": [ "资产清单：智能体可以接触的数据、系统和凭据，按智能体的触达范围而非团队的组织架构图列出。", "信任边界：哪些输入是指令，哪些是数据，以及该界限是在代码中强制执行还是仅在文本中说明。", "带权限的工具目录：每个工具及其范围、是否执行写操作，以及攻击者通过调用它能获得什么。", "出口地图：字节可以流出的每种方式，包括意外流出的方式——链接预览、渲染的图像、日志传输、错误报告。", "对手目标：外发、提权、持久化、破坏、欺骗——每个目标都映射到上述攻击面上。", "带负责人的控制措施：哪个支撑系统（harness）组件限制了每条路径，以及由谁来维护它。", "接受的风险：故意保留的开放路径，以及原因和补偿性检测措施。", "测试用例：针对每个攻击面，证明控制措施有效的注入或滥用尝试。从未见证过失败的控制措施是未经证实的控制措施。" ], "pros": [ "它将“我们的智能体安全吗？”转化为一个有限的攻击面列表，每个攻击面都有负责人和控制措施。", "它使权限决策在授予生产环境访问权限之前变得明确且可审查。", "它为红队提供了目标列表，并为评估套件提供了可自动化的具体案例。", "它经得起时间考验：模型经常变化，而攻击面变化缓慢，因此该地图在下一次模型更换后依然适用。" ], "risks": [ "对聊天机器人而非智能体进行建模——列举了输出危害，却忽略了将这些输出转化为行动的工具。", "将模型视为控制点。对齐只能减少尝试，并不能限制后果。", "文档一次写成后便再未修改。每个新工具都是一个新的攻击面，因此该模型应纳入变更流程中。", "将覆盖范围与防御混淆：命名一个攻击面并不等于控制它，未经测试的控制措施只是一种说辞。" ], "tools": [ "OWASP Top 10 for LLM Applications——漏洞类别的共享词汇表。", "MITRE ATLAS——针对 AI 系统观察到的对手战术和技术。", "NIST AI RMF——该地图接入的治理框架（治理、映射、测量、管理）。", "智能体追踪和审计日志——证据层；没有它们，模型是无法证伪的。", "自动化红队套件——在 CI 中运行的注入语料库，以便在发布前发现回归问题。", "策略和权限引擎——模型结论实际执行的地方。" ], "examples": [ "读取客户电子邮件的支持智能体：邮件正文是不可信的指令输入，CRM 工具是能力，而回复通道是外发路径。一个功能产生三个攻击面。", "具有代码库写入权限和网络出口的编码智能体：通过依赖项的 README 进行注入，通过 commit 工具获得能力，通过其可触达的任何注册表进行外发。", "针对内部 Wiki 的检索智能体：任何可以编辑页面的人都可以编写智能体将读取的指令，这使得低权限的内部编辑器成为注入向量。" ], "faqs": [ { "q": "这与普通的威胁模型有什么不同？", "a": "方法相同，但攻击面是全新的。经典模型假设代码执行指令，而数据不执行。对于智能体，数据就是指令——因此检索、内存和工具结果都变成了攻击者可以触达的输入通道。" }, { "q": "如果我的智能体是只读的，我还需要威胁模型吗？", "a": "是的，需要一个规模较小的模型。只读智能体仍然具有外发攻击面——任何它能读取的内容都可以被诱导重复输出——而且“只读”这一属性必须在工具层强制执行，而不能仅凭提示词来假设。" }, { "q": "如果我什么都还没写，该从哪里开始？", "a": "列出智能体可以调用的工具以及每个工具所触达的数据。仅凭这张表就能生成地图的大部分内容：能力是爆炸半径，而能够触达它们的输入则是攻击路径。" }, { "q": "应该多长时间重新评估一次？", "a": "每当工具、数据源或自主程度发生变化时——这些都是产生攻击面的事件。模型升级的影响比人们预期的要小；它们改变的是可能性，而不是触达范围。" } ] } } }