Audit-Framework für agentische Systeme
Ein praktisches, herstellerneutrales Framework, um einen Agenten auditierbar zu machen und ihn zu prüfen. Es definiert die Nachweise, die ein unabhängiger Prüfer benötigt – unveränderliche, korrelierte Traces jeder Entscheidung und jedes Tool-Aufrufs, Modell- und Versionsherkunft (Provenance), Evaluierungsberichte, Freigabe- und Incident-Protokolle – sowie Methoden zum Testen von Kontrollmechanismen und zur Stichprobenprüfung von Läufen mit hohem Volumen. Jede Nachweisart ist der ISO/IEC 42001 und dem NIST AI RMF zugeordnet, sodass ein Auditor überprüfen kann, ob der Agent innerhalb seiner vorgegebenen Grenzen geblieben ist. Nutzen Sie es, um Auditierbarkeit von Anfang an einzuplanen, statt sie nachträglich hinzuzufügen.
Definition
Ein Agenten-Audit ist eine unabhängige, evidenzbasierte Prüfung, die feststellt, ob ein agentisches System über einen definierten Zeitraum innerhalb seines autorisierten Rahmens, seiner Kontrollmechanismen und Richtlinien agiert hat und ob die darüber aufgestellten Governance-Behauptungen durch verlässliche Nachweise gestützt werden.
Anwendungsbereich
Auditoren, Assurance- und Risikoteams sowie Systemverantwortliche, die ihre Agenten von Grund auf auditierbar gestalten müssen (Auditability by Design). Es gilt für autonome oder teilautonome Agenten, die Tools nutzen und über längere Zeit agieren, und unterstützt sowohl die interne Qualitätssicherung als auch externe oder regulatorische Audits. Es ist ein praktischer Begleiter zu den formalen Frameworks und kein Ersatz für eine Rechtsberatung.
Kernanforderungen
- Auditability by Design: Der Agent muss zur Laufzeit genügend strukturierte Nachweise liefern, um jeden Durchlauf später rekonstruieren zu können.
- Jeder Durchlauf erzeugt einen unveränderlichen, korrelierten Trace: Ziel, jeder Schritt und Tool-Aufruf mit Parametern und Ergebnissen, Freigaben, Overrides und das Endergebnis.
- Nachweise müssen vollständig, zuordenbar, mit Zeitstempeln versehen und manipulationssicher sein, um Beweiskraft zu besitzen.
- Modell- und Versionsherkunft (Prompt, Tools, Modell) werden pro Durchlauf erfasst, sodass das Verhalten an eine bekannte Konfiguration gebunden ist.
- Die Stichprobenentnahme ist gestuft: risikostratifiziert, statistisch und eine 100-prozentige Überprüfung aller Ausnahmen, Overrides, Ablehnungen und Vorfälle.
- Audit-Nachweise lassen sich dem internen Audit nach ISO/IEC 42001 (Klausel 9) und den Measure- und Manage-Funktionen des NIST AI RMF zuordnen.
Kontrollen
- Unveränderliche Audit-Logs und Rückverfolgbarkeit
- Erfassen Sie pro Durchlauf einen korrelierten Trace – Agenten-Identität und -Version, Ziel, jeden Schritt, Tool-Aufruf, Ergebnis, Genehmigungen und Resultat – und schützen Sie diesen vor Änderungen. Implementiert KI-Observability.
- Modell- und Versionsherkunft
- Erfassen Sie den genauen Prompt, das Tool-Set und die Modellversion hinter jedem Durchlauf, sodass das Verhalten einer bekannten, per Konfiguration reproduzierbaren Baseline zugeordnet werden kann.
- Evaluierungsnachweise
- Bewahren Sie Berichte zur Vorab- und laufenden Evaluierung sowie Gate-Ergebnisse auf, damit Auditoren überprüfen können, ob Sicherheit und Qualität gemessen wurden – NIST „Measure“.
- Kontrollprüfungen und Stichprobenentnahme
- Prüfen Sie jede Kontrolle anhand von Nachweisen unter Verwendung einer dokumentierten Stichprobenmethodik: risikostratifiziert, statistisch und vollständige Überprüfung von Ausnahmen.
- Genehmigungs- und Vorfallprotokolle
- Erfassen Sie menschliche Genehmigungen, Overrides und Vorfälle mit der Identität des Akteurs und Zeitstempeln. Implementiert das Human-Approval-Gate-Muster.
- Attestierungen und Feststellungsmanagement
- System- und Kontrollverantwortliche unterzeichnen durch Nachweise gestützte Attestierungen; Feststellungen werden mit Schweregrad und Fristen bis zur Behebung nachverfolgt.
Checkliste
- 01Bestätigen Sie, dass jeder Agenten-Durchlauf einen vollständigen, korrelierten Trace erzeugt, der an eine stabile Trace-ID gebunden ist.
- 02Überprüfen Sie, ob Logs manipulationssicher und zeitgestempelt sind sowie für den gesamten Audit- und regulatorischen Aufbewahrungszeitraum vorgehalten werden.
- 03Prüfen Sie, ob jeder Durchlauf die Modell- und Versionsherkunft aufzeichnet (Prompt, Tools, Modellversion).
- 04Rufen Sie ein Control-Mapping / eine Anwendbarkeitserklärung (Statement of Applicability) ab, die jede Kontrolle mit ihren Nachweisen verknüpft.
- 05Bewahren und überprüfen Sie Berichte zur Vorab- und laufenden Evaluierung sowie Gate-Ergebnisse.
- 06Bestätigen Sie, dass Protokolle für Genehmigungen, Overrides und Vorfälle mit der Identität des Akteurs und Zeitstempeln vorhanden sind.
- 07Wenden Sie eine dokumentierte Stichprobenmethodik an – risikostratifiziert, statistisch und mit 100-prozentiger Abdeckung von Ausnahmen.
- 08Verfolgen Sie Feststellungen mit Schweregrad und Fristen bis zur Behebung und holen Sie unterzeichnete Attestierungen der Verantwortlichen ein.
Typische Fallstricke
- Nicht auditierbare Agenten: Die Protokollierung wird erst nachträglich hinzugefügt, was Lücken hinterlässt, die kein Audit schließen kann.
- Veränderbare Logs: Datensätze, die geändert werden könnten, was ihren Beweiswert zerstört.
- Blinde Flecken bei Stichproben: Rein zufällige Stichproben, bei denen seltene, aber katastrophale Aktionen übersehen werden.
- Attestierung ohne Nachweise: Verantwortliche zeichnen Kontrollen ab, die sie nicht nachweisen können.
- Friedhof der Feststellungen: Aufgeworfene Probleme, die nie behoben oder erneut geprüft werden.
Beispiele
- Ein Auditor rekonstruiert eine umstrittene Rückerstattung, indem er deren korrelierten Trace vom Ziel über den Tool-Aufruf bis zur menschlichen Genehmigung verfolgt.
- Eine kontinuierliche Audit-Prüfung schlägt bei einem Tool-Aufruf außerhalb der Allow-List im Live-Log-Stream Alarm.
- Aufbewahrte Evaluierungsberichte lassen sich dem Bereich „Measure“ des NIST AI RMF zuordnen und belegen, dass Sicherheits-Gates vor der Bereitstellung erfolgreich durchlaufen wurden.
FAQs
- Kann man einen nicht-deterministischen Agenten überhaupt auditieren?
- Ja – Sie auditieren die Kontrollen und das aufgezeichnete Verhalten, nicht den Determinismus. Vollständige, unveränderliche Traces machen jeden spezifischen Durchlauf rekonstruierbar, selbst wenn er nicht exakt reproduziert werden kann.
- Wie groß sollte die Audit-Stichprobe sein?
- Statistisch gesehen groß genug für Ihr angestrebtes Sicherheitsniveau, plus 100 % der Ausnahmen und folgenschweren Aktionen. Stichproben ersetzen niemals eine vollständige Überprüfung von Ausnahmen.
- Wie lassen sich Audit-Nachweise den Frameworks zuordnen?
- Traces und Logs unterstützen die Bereiche „Measure“ und „Manage“ des NIST AI RMF sowie das interne Audit nach ISO/IEC 42001 Klausel 9; ein Control-Mapping oder eine Anwendbarkeitserklärung (Statement of Applicability) verknüpft jede Kontrolle mit dem Nachweis, dass sie wirksam war.