Wie unterscheidet sich dies von einer normalen Bedrohungsanalyse (Threat Model)?

Die Methode ist dieselbe, die Angriffsflächen sind neu. Klassische Modelle gehen davon aus, dass Code Anweisungen ausführt und Daten dies nicht tun. Bei einem Agenten sind Daten Anweisungen — somit werden Retrieval, Speicher und Tool-Ergebnisse alle zu Eingangskanälen, die ein Angreifer erreichen kann.

Benötige ich eine Bedrohungsanalyse, wenn mein Agent schreibgeschützt (read-only) ist?

Ja, eine kleinere. Ein schreibgeschützter Agent hat immer noch eine Exfiltrationsfläche — alles, was er lesen kann, kann er auch wiederholen —, und „schreibgeschützt“ ist eine Eigenschaft, die auf der Tool-Ebene erzwungen werden muss und nicht einfach im Prompt vorausgesetzt werden darf.

Wo fange ich an, wenn ich noch nichts schriftlich festgehalten habe?

Listen Sie die Tools auf, die der Agent aufrufen kann, und die Daten, auf die jedes Tool zugreift. Diese eine Tabelle liefert den Großteil der Übersicht: Funktionen (Capabilities) stellen den Schadensradius (Blast Radius) dar, und die Eingaben, die sie erreichen können, sind die Angriffspfade.

Wie oft sollte sie überarbeitet werden?

Immer wenn sich ein Tool, eine Datenquelle oder eine Autonomiestufe ändert — das sind die Ereignisse, die neue Angriffsflächen schaffen. Modell-Upgrades sind weniger wichtig als gedacht; sie ändern die Wahrscheinlichkeit, nicht die Reichweite.

GovernanceAktualisiert 2026-08-22 · Version 1.0

Was ist ein Agentic Threat Model?

Ein Agentic Threat Model ist die Abbildung dessen, wie ein autonomer Agent angegriffen werden kann: nicht über seine Gewichte, sondern über alles, was er liest, sich merkt, aufruft und tun darf. Es benennt die Angriffsflächen – direkte und indirekte Prompt Injection, Tool Poisoning, übermäßige Handlungsfähigkeit (Excessive Agency), Memory Poisoning, Lieferkette, Exfiltrationskanäle, der Confused Deputy –, sodass jede einzelne eine Kontrolle im Harness erhält, statt nur auf eine Hoffnung im System-Prompt zu setzen.

Evidenz: BranchenbeobachtungKonfidenz: HochQuelle: BranchenbeobachtungQuelle: PaperQuelle: Persönliche Erfahrung

Maschinenlesbar: JSON

Definition

Ein Agentic Threat Model ist eine strukturierte Aufzählung der Angriffsflächen, Angreiferziele und Missbrauchspfade, die spezifisch für einen KI-Agenten sind – seine Eingaben, sein Kontext, sein Speicher, seine Tools, seine Anmeldedaten und seine Autonomie. Es dient der Entscheidung, welche Harness-Kontrollen erforderlich sind, bevor dem Agenten Zugriff auf die Produktion gewährt wird.

Wichtigste Erkenntnisse

Erstellen Sie das Bedrohungsmodell für die Aktionen des Agenten, nicht für die Ausgaben des Modells.
Jede Eingabe, die der Agent liest, ist ein Anweisungskanal: Dokumente, Seiten, Tool-Ergebnisse, andere Agenten.
Jedes Tool, das der Agent aufrufen kann, ist eine Fähigkeit, die ein Angreifer in dem Moment erbt, in dem eine Injection erfolgreich ist.
Speicher verwandelt einen One-Shot-Angriff in einen persistenten Angriff.
Der Blast Radius wird durch Anmeldedaten und Egress bestimmt, nicht durch den Prompt.
Eine unbenannte Angriffsfläche ist keine nicht vorhandene – schreiben Sie akzeptierte Risiken explizit auf.

Kontext

Klassisches Threat Modelling fragt danach, was ein Angreifer an Ihr System senden kann. Bei Agenten lautet die schwierigere Frage, was Ihr System von sich aus liest und als Anweisungen behandelt. Ein Agent, der eine Seite abruft, ein Ticket öffnet oder ein Tool-Ergebnis liest, hat seine Vertrauensgrenze erweitert, ohne dass dies jemand explizit beschlossen hat.

Die zweite Verschiebung betrifft die Handlungsfähigkeit (Agency). Ein Chatbot, der getäuscht wird, erzeugt einen falschen Satz; ein Agent, der getäuscht wird, tätigt einen Anruf, transferiert Geld, löscht einen Branch oder versendet eine Datei per E-Mail. Die Schwere eines erfolgreichen Angriffs wird durch die dem Agenten zugewiesenen Tools und Anmeldedaten bestimmt, weshalb die Rechtevergabe eine Sicherheitsentscheidung und keine reine Komfortentscheidung ist.

Frameworks verankern diese Praxis: Die OWASP Top 10 für LLM-Anwendungen benennen die Schwachstellenklassen und MITRE ATLAS katalogisiert die gegen KI-Systeme beobachteten Taktiken von Angreifern. Nutzen Sie diese als Checklisten für Ihre eigene Architektur, nicht als Ersatz für eine solche.

Architektur

Direkte Prompt Injection – die Person, die mit dem Agenten spricht, versucht, dessen Anweisungen außer Kraft zu setzen. Am einfachsten zu versuchen und am leichtesten einzugrenzen, da sich dieser Benutzer bereits innerhalb der Berechtigungen befindet, die die Sitzung gewährt.

Indirekte Prompt Injection – Anweisungen, die in Inhalten versteckt sind, die der Agent abruft: eine Webseite, ein PDF, ein Ticket-Kommentar, eine E-Mail, eine Quelldatei, die Ausgabe eines anderen Agenten. Der Angreifer spricht nie direkt mit Ihrem Agenten; er platziert Text dort, wo der Agent ihn lesen wird.

Tool Poisoning – ein Tool, dessen Beschreibung oder Ergebnis selbst schädlich ist. Ein Server kann zum Zeitpunkt der Genehmigung ein harmloses Tool beschreiben und es danach ändern, sodass Vertrauen einmal geprüft und für immer ausgeübt wird.

Übermäßige Handlungsbefugnis (Excessive Agency) — der Agent besitzt Berechtigungen, die über das für eine einzelne Aufgabe erforderliche Maß hinausgehen. Noch ist nichts schiefgegangen; die Angriffsfläche besteht darin, dass ein gekaperter Agent sofort alle Rechte erbt, die das Harness zu gewähren bereit war.

Memory Poisoning (Speichermanipulation) — falsche Fakten oder Anweisungen, die in den persistenten Speicher oder einen Vektorspeicher geschrieben werden, sodass der Angriff die Sitzung überdauert und bei zukünftigen, nicht damit zusammenhängenden Aufgaben erneut ausgelöst wird.

Lieferkette (Supply Chain) — Modelle, System-Prompts, MCP-Server, Pakete und Datensätze, die von außerhalb der Organisation bezogen werden. Eine Abhängigkeit, die eine Tool-Beschreibung umschreiben kann, ist eine Abhängigkeit, die das Verhalten des Agenten umschreiben kann.

Exfiltrationskanäle — jeder Pfad, über den Bytes abfließen können: ein ausgehender Fetch-Aufruf, eine in einer Antwort gerenderte Bild-URL, ein E-Mail- oder Webhook-Tool, ein Commit. Daten müssen nicht von einem Menschen gelesen werden, um gestohlen zu werden; eine URL genügt.

Confused Deputy — der Agent agiert mit Anmeldedaten, die der Anforderer selbst nicht besitzt, sodass ein Angreifer, der ein System nicht direkt erreichen kann, den Agenten bittet, in seinem Namen darauf zuzugreifen.

Komponenten

Asset-Inventar: die Daten, Systeme und Anmeldedaten, auf die der Agent zugreifen kann, aufgelistet nach der Reichweite des Agenten und nicht nach dem Organigramm des Teams.Vertrauensgrenzen (Trust Boundaries): Welche Eingaben sind Anweisungen, welche sind Daten, und an welcher Stelle diese Grenze im Code statt in Textform erzwungen wird.Tool-Katalog mit Berechtigungen: jedes Tool, sein Umfang, ob es Schreibrechte besitzt und was ein Angreifer durch dessen Aufruf gewinnt.Egress-Map (Abflusspfade): Jeder Weg, auf dem Bytes abfließen können, einschließlich unbeabsichtigter Wege — Link-Vorschauen, gerenderte Bilder, Log-Versand, Fehlerberichterstattung.Ziele des Angreifers: Exfiltrieren, Rechte ausweiten (Escalate), Persistenz etablieren, Stören, Täuschen — jeweils auf die oben genannten Angriffsflächen abgebildet.Sicherheitskontrollen (Controls) mit Verantwortlichen: Welche Harness-Komponente den jeweiligen Pfad begrenzt und wer diese pflegt.Akzeptierte Risiken: bewusst offengehaltene Pfade, inklusive Begründung und kompensierender Erkennungsmaßnahmen.Testfälle: für jede Angriffsfläche der Injektions- oder Missbrauchsversuch, der beweist, dass die Sicherheitskontrolle funktioniert. Eine Kontrolle, deren Fehlschlagen man nie beobachtet hat, ist eine nicht verifizierte Kontrolle.

Vorteile

Es verwandelt die Frage „Ist unser Agent sicher?“ in eine endliche Liste von Angriffsflächen, die jeweils einen Verantwortlichen und eine Sicherheitskontrolle haben.
Es macht Berechtigungsentscheidungen explizit und überprüfbar, bevor der Zugriff auf die Produktionsumgebung gewährt wird.
Es liefert Red Teams eine Zielliste und bietet Evaluierungs-Suites konkrete Fälle zur Automatisierung.
Es altert gut: Modelle ändern sich oft, Angriffsflächen ändern sich langsam, sodass die Übersicht den nächsten Modellwechsel überdauert.

Risiken

Den Chatbot statt des Agenten zu modellieren — also Risiken bei der Ausgabe aufzuzählen, während die Tools ignoriert werden, die diese Ausgaben in Aktionen umsetzen.
Das Modell als Kontrollpunkt zu behandeln. Alignment reduziert Versuche; es begrenzt nicht die Konsequenzen.
Ein einmal geschriebenes Dokument, das nie wieder angerührt wird. Jedes neue Tool ist eine neue Angriffsfläche, daher gehört das Modell in den Change-Prozess.
Abdeckung mit Abwehr zu verwechseln: Eine Angriffsfläche zu benennen bedeutet nicht, sie zu kontrollieren, und eine ungeprüfte Kontrolle ist lediglich eine Behauptung.

Tools & Technologien

OWASP Top 10 für LLM-Anwendungen — ein gemeinsames Vokabular für die Schwachstellenklassen.MITRE ATLAS — Taktiken und Techniken von Angreifern, die bei KI-Systemen beobachtet wurden.NIST AI RMF — der Governance-Rahmen, in den sich die Übersicht einfügt (Govern, Map, Measure, Manage).Agenten-Traces und Audit-Logs — die Nachweisebene; ohne sie ist das Modell nicht falsifizierbar.Automatisierte Red-Team-Suites — Injektions-Korpora, die in der CI ausgeführt werden, damit Regressionen vor dem Release auffallen.Richtlinien- und Berechtigungs-Engines — dort, wo die Schlussfolgerungen des Modells tatsächlich durchgesetzt werden.

Beispiele

Ein Support-Agent, der Kunden-E-Mails liest: Der Nachrichtentext ist eine nicht vertrauenswürdige Anweisungseingabe, das CRM-Tool ist die Funktion (Capability) und der Antwortkanal ist der Exfiltrationspfad. Drei Angriffsflächen aus einem einzigen Feature.
Ein Coding-Agent mit Schreibzugriff auf das Repository und Netzwerk-Egress: Injektion über die README einer Abhängigkeit, Funktion über das Commit-Tool, Exfiltration über jede erreichbare Registry.
Ein Retrieval-Agent für ein internes Wiki: Jeder, der eine Seite bearbeiten kann, kann Anweisungen schreiben, die der Agent liest, was einen internen Editor mit geringen Rechten zu einem Injektionsvektor macht.

FAQs

Wie unterscheidet sich dies von einer normalen Bedrohungsanalyse (Threat Model)?: Die Methode ist dieselbe, die Angriffsflächen sind neu. Klassische Modelle gehen davon aus, dass Code Anweisungen ausführt und Daten dies nicht tun. Bei einem Agenten sind Daten Anweisungen — somit werden Retrieval, Speicher und Tool-Ergebnisse alle zu Eingangskanälen, die ein Angreifer erreichen kann.
Benötige ich eine Bedrohungsanalyse, wenn mein Agent schreibgeschützt (read-only) ist?: Ja, eine kleinere. Ein schreibgeschützter Agent hat immer noch eine Exfiltrationsfläche — alles, was er lesen kann, kann er auch wiederholen —, und „schreibgeschützt“ ist eine Eigenschaft, die auf der Tool-Ebene erzwungen werden muss und nicht einfach im Prompt vorausgesetzt werden darf.
Wo fange ich an, wenn ich noch nichts schriftlich festgehalten habe?: Listen Sie die Tools auf, die der Agent aufrufen kann, und die Daten, auf die jedes Tool zugreift. Diese eine Tabelle liefert den Großteil der Übersicht: Funktionen (Capabilities) stellen den Schadensradius (Blast Radius) dar, und die Eingaben, die sie erreichen können, sind die Angriffspfade.
Wie oft sollte sie überarbeitet werden?: Immer wenn sich ein Tool, eine Datenquelle oder eine Autonomiestufe ändert — das sind die Ereignisse, die neue Angriffsflächen schaffen. Modell-Upgrades sind weniger wichtig als gedacht; sie ändern die Wahrscheinlichkeit, nicht die Reichweite.