Governance-Checkliste für agentische KI

Definition

Die Governance-Checkliste für agentische KI ist ein operativer Satz von Kontrollmechanismen, der KI-Governance-Frameworks in konkrete, umsetzbare Anforderungen für autonome Agenten in der Produktionsumgebung überführt.

Anwendungsbereich

Teams, die autonome oder teilautonome Agenten entwickeln oder bereitstellen, welche Tools nutzen, auf Systeme einwirken oder folgenschwere Entscheidungen treffen. Sie ist ein praktischer Begleiter zu den formalen Frameworks und kein Ersatz für eine Rechtsberatung.

Kernanforderungen

• Risikobasierte menschliche Aufsicht: Knüpfen Sie folgenschwere, unumkehrbare oder regulierte Aktionen an eine menschliche Freigabe.
• Guardrails für Ein- und Ausgaben, einschließlich der Abwehr von Prompt-Injections und dem Schutz personenbezogener Daten (PII).
• Vollständige Audit-Protokollierung und Observability, damit jede Aktion nachvollziehbar ist.
• Evaluierung vor und nach der Bereitstellung anhand eines gepflegten Evaluierungssets (Eval-Set).
• Zugriffsrechte nach dem Prinzip der minimalen Rechtevergabe (Least Privilege) für Tools und Daten, auf die der Agent zugreifen kann.
• Eine definierte Incident Response und ein Notausschalter (Kill-Switch) für Agenten in der Produktionsumgebung.

Kontrollen

Menschliche Freigabestufen

Leiten Sie folgenschwere Aktionen über einen menschlichen Kontrollpunkt (EU AI Act Art. 14). Implementiert das Pattern „human-approval-gate“.

Guardrails

Validieren und beschränken Sie Ein- und Ausgaben; wehren Sie Prompt-Injections ab und blockieren Sie richtlinienwidrige Aktionen.

Audit-Protokollierung & Observability

Verfolgen Sie jede Entscheidung, jeden Tool-Aufruf und jede Aktion, damit der Agent überprüfbar ist und Vorfälle rekonstruiert werden können.

Evaluierungs-Harness

Bewerten Sie das Verhalten vor der Auslieferung anhand eines Eval-Sets und überwachen Sie es danach auf Regressionen – NIST „Measure“.

Least-Privilege-Zugriff

Beschränken Sie die Tools, Daten und Berechtigungen, auf die ein Agent zugreifen kann, auf das für seine Aufgabe erforderliche Minimum.

Incident Response & Notausschalter

Definieren Sie, wie ein Fehlverhalten des Agenten erkannt, gestoppt und behoben werden kann, einschließlich einer Möglichkeit, ihn sofort anzuhalten.

Checkliste

• 01Klassifizieren Sie das Risiko des Agenten und identifizieren Sie, welche Aktionen eine menschliche Freigabe erfordern.
• 02Implementieren Sie Guardrails für Ein-/Ausgaben und die Abwehr von Prompt-Injections.
• 03Aktivieren Sie eine durchgängige Audit-Protokollierung und Observability.
• 04Richten Sie ein Evaluierungsset ein und führen Sie es vor der Bereitstellung sowie kontinuierlich aus.
• 05Wenden Sie das Least-Privilege-Prinzip auf Tools, Daten und Anmeldedaten an.
• 06Definieren Sie Incident Response, Überwachungsschwellenwerte und einen Notausschalter.
• 07Ordnen Sie jeden Kontrollmechanismus Ihren Verpflichtungen aus dem EU AI Act, der ISO 42001 und dem NIST AI RMF zu.
• 08Dokumentieren Sie die Zuständigkeiten und überprüfen Sie den Agenten in regelmäßigen Abständen.

Typische Fallstricke

• Einem Agenten „sicherheitshalber“ weitreichenden Zugriff auf Tools/Daten zu gewähren, was zu einem großen Schadensradius (Blast Radius) führt.
• Alles freigabepflichtig zu machen (Freigabemüdigkeit) oder gar nichts (keine Aufsicht), anstatt risikobasiert zu steuern.
• Bereitstellung ohne ein Eval-Set, sodass Qualität und Sicherheit ungemessen bleiben.
• Kein Notausschalter oder Incident-Plan für den Fall, dass sich ein Agent in der Produktionsumgebung fehlerhaft verhält.
• Ignorieren von Prompt-Injections als Angriffsfläche für Agenten, die Tools nutzen.

Nachweise aus der Praxis

Kontext

Teams, die einen autonomen oder teilautonomen Agenten in der Produktionsumgebung einsetzen, wo er Tools nutzt und folgenschwere Aktionen durchführt.

Szenario

Vor dem Go-Live nutzt das Team die Checkliste als Freigabeprüfung (Readiness Gate): Klassifizierung des Risikos des Agenten, Verknüpfung folgenschwerer Aktionen mit menschlicher Freigabe, Hinzufügen von Guardrails und Schutz vor Prompt-Injections, Aktivierung von Audit-Protokollierung und Observability, Einrichtung eines Evaluierungssets, Beschränkung des Zugriffs nach dem Least-Privilege-Prinzip sowie Definition von Incident Response und eines Notausschalters.

Technologie

Ein Harness, das eine menschliche Freigabestufe, Guardrails, Audit-Protokollierung/Observability, ein Evaluierungs-Harness und einen beschränkten Zugriff auf Tools/Anmeldedaten kombiniert.

Last

Wird vor der Bereitstellung pro Agent angewendet und regelmäßig überprüft; der aufwendigste Kontrollmechanismus (menschliche Freigabe) ist der kleinen Gruppe folgenschwerer Aktionen vorbehalten.

Ergebnisse

Beobachtetes Pattern: Teams, die risikobasiert steuern, das Least-Privilege-Prinzip durchsetzen und von Tag eins an Instrumentierung nutzen, begrenzen den Schadensradius von Agentenfehlern; diejenigen, die „sicherheitshalber“ weitreichenden Zugriff gewähren oder ohne Evals ausliefern, entdecken Fehler erst in der Produktion. Messen Sie die Angemessenheit von Eskalationen, die Rate fehlerhafter Aktionen und die mittlere Zeit bis zur Erkennung (Mean Time to Detect).

Erkenntnisse

• Betrachten Sie die Checkliste als Freigabeprüfung (Readiness Gate), nicht als einmaliges Audit – führen Sie sie erneut aus, wenn die Tools und die Autonomie des Agenten zunehmen.
• Der Least-Privilege-Zugriff und die risikobasierte menschliche Freigabe begrenzen den Schadensradius stärker als jede einzelne Guardrail.
• Ohne ein Evaluierungsset und eine Audit-Protokollierung vor dem Start können Sie einen sicheren Agenten nicht von einem glücklichen unterscheiden.
• Ordnen Sie jeden Kontrollmechanismus einem konkreten Verantwortlichen zu; Governance ohne Rechenschaftspflicht ist lediglich Dokumentation.

Beispiele

• Ein Agent, dessen Rückerstattungsaktion an eine menschliche Freigabe geknüpft ist, während schreibgeschützte Abfragen frei ausgeführt werden.
• Eine Guardrail, die eine per Prompt-Injection eingeschleuste Anweisung zur Datenexfiltration über ein Tool blockiert.
• Ein Evaluierungslauf, der eine Sicherheitsregression abfängt, bevor ein Agenten-Update ausgeliefert wird.

FAQs

Ist dies ein Ersatz für den EU AI Act oder die ISO 42001?

Nein. Es handelt sich um einen praktischen Satz von Kontrollmechanismen, der deren Prinzipien für Agenten operationalisiert. Nutzen Sie ihn neben den formalen Frameworks und der Rechtsberatung, nicht anstelle dieser.

Welcher Kontrollmechanismus ist für autonome Agenten am wichtigsten?

Risikobasierte menschliche Aufsicht plus Least-Privilege-Zugriff und Audit-Protokollierung – zusammen begrenzen sie, was ein Agent tun kann, und machen jede Aktion nachvollziehbar.

Wie hängt dies mit der Patterns-Bibliothek zusammen?

Jeder Kontrollmechanismus ist Patterns zugeordnet, die ihn implementieren – „human-approval-gate“ für die Aufsicht, „reflection“ und „evaluator-optimizer“ für die Qualität – sowie Wissenseinheiten wie Guardrails und KI-Observability.

Referenzen

• NIST — AI Risk Management Framework (AI RMF 1.0)
• EU AI Act — Article 14 (Human oversight)
• OWASP — Top 10 for LLM Applications

Verwandte Governance-Themen