Enterprise-KI-Governance
Eine praktische Referenzbibliothek für die Governance von Enterprise-KI und agentischen Systemen – die wichtigsten Regelwerke (EU AI Act, ISO/IEC 42001, NIST AI RMF) und eine praxisnahe Governance-Checkliste für agentische KI, jeweils mit Anwendungsbereich, Kernanforderungen, implementierbaren Kontrollen, einer Checkliste und typischen Fallstricken. Entwickelt für Menschen und KI-Agenten.
Framework
5NIST AI Risk Management Framework
Das NIST AI RMF 1.0 is ein freiwilliges, weit verbreitetes Framework für das Management von KI-Risiken über den gesamten Lebenszyklus hinweg. Es ist um vier Kernfunktionen herum organisiert – Govern (Steuern), Map (Abbilden), Measure (Messen) und Manage (Verwalten) – sowie um eine Reihe von Merkmalen vertrauenswürdiger KI (valide und zuverlässig, sicher, geschützt und widerstandsfähig, rechenschaftspflichtig und transparent, erklärbar, datenschutzfreundlich sowie fair bei kontrollierter schädlicher Verzerrung). Ein begleitendes Generative AI Profile passt es an GenAI-Risiken an. Im Gegensatz zum EU AI Act ist es kein Gesetz, dient aber als gemeinsames Rückgrat für die operative KI-Governance.
Enterprise AI Governance Framework
Ein übergeordnetes Betriebsmodell für die KI-Governance im gesamten Unternehmen. Es definiert die Prinzipien, Verantwortlichkeiten (RACI), die KI-Risikotaxonomie, Lifecycle-Gates und die Richtlinienhierarchie, die sicherstellen, dass die KI-Nutzung rechtmäßig, sicher und im Einklang mit der Risikobereitschaft bleibt. Es harmonisiert den EU AI Act, ISO/IEC 42001 und das NIST AI RMF in einem einzigen internen Programm – einmal erfüllen, überall wiederverwenden – und nutzt die Checkliste für agentische Governance als konkretes Kontrollset. Nutzen Sie es, um jedem produktiven KI-System einen namentlich genannten Verantwortlichen, eine Risikostufe und ein Gate zuzuweisen, das eine nicht-konforme Bereitstellung tatsächlich blockieren kann.
Audit-Framework für agentische Systeme
Ein praktisches, herstellerneutrales Framework, um einen Agenten auditierbar zu machen und ihn zu prüfen. Es definiert die Nachweise, die ein unabhängiger Prüfer benötigt – unveränderliche, korrelierte Traces jeder Entscheidung und jedes Tool-Aufrufs, Modell- und Versionsherkunft (Provenance), Evaluierungsberichte, Freigabe- und Incident-Protokolle – sowie Methoden zum Testen von Kontrollmechanismen und zur Stichprobenprüfung von Läufen mit hohem Volumen. Jede Nachweisart ist der ISO/IEC 42001 und dem NIST AI RMF zugeordnet, sodass ein Auditor überprüfen kann, ob der Agent innerhalb seiner vorgegebenen Grenzen geblieben ist. Nutzen Sie es, um Auditierbarkeit von Anfang an einzuplanen, statt sie nachträglich hinzuzufügen.
OWASP Top 10 für LLM-Anwendungen
Die OWASP Top 10 für LLM-Anwendungen sind das gemeinsame Vokabular für Probleme in Systemen, die auf Sprachmodellen basieren. Es handelt sich nicht um ein Kontroll-Framework und es schreibt nicht vor, was implementiert werden muss – es benennt die Schwachstellenklassen, von Prompt Injection über übermäßige Handlungsbefugnis (Excessive Agency) bis hin zu unbegrenztem Ressourcenverbrauch (Unbounded Consumption), damit Teams, Auditoren und Anbieter über dieselben Dinge sprechen können. Ihr praktischer Wert liegt in der Funktion als Checkliste für die eigene Architektur und als gemeinsame Sprache, in der Ergebnisse gemeldet werden.
MITRE ATLAS
MITRE ATLAS ist die gegnerische Seite der Landkarte. Während OWASP die Schwachstellenklassen in Ihrer Anwendung benennt, katalogisiert ATLAS die Taktiken und Techniken, die Angreifer tatsächlich gegen KI-gestützte Systeme einsetzen – Aufklärung eines Modells, Erlangung von Zugriff, Vorbereitung eines Angriffs, Umgehen von Abwehrmechanismen, Exfiltration von Daten – organisiert auf dieselbe Weise, wie MITRE ATT&CK konventionelle Einbrüche strukturiert, und gestützt auf dokumentierte Fallstudien statt auf Hypothesen.
Playbook
2Governance-Checkliste für agentische KI
Eine praktische, herstellerneutrale Checkliste für die Governance agentischer KI im Unternehmen – sie übersetzt die Prinzipien des EU AI Act, der ISO/IEC 42001 und des NIST AI RMF in konkrete Kontrollmechanismen, die Sie in einem Harness implementieren können. Sie deckt menschliche Aufsicht, Guardrails, Audit-Protokollierung, Evaluierung, Zugriffskontrolle, Abwehr von Prompt-Injections sowie Incident Response ab und ordnet jeden Kontrollmechanismus den Patterns und Wissenseinheiten zu, die ihn operationalisieren. Nutzen Sie sie als Freigabeprüfung (Readiness Gate), bevor Sie einen Agenten in der Produktionsumgebung agieren lassen.
Richtlinie für menschliche Aufsicht und Rechenschaftspflicht
Eine operative Richtlinie, die die menschliche Aufsicht gemäß Artikel 14 des EU AI Act für agentische KI in die Praxis umsetzt. Sie weist jedem Agenten eine namentlich benannte verantwortliche Person zu, legt die Aufsichtsstufe (In-the-Loop, On-the-Loop, Out-of-the-Loop) je nach Risiko fest und definiert Eingriffs-, Override- und Stopp-Befugnisse sowie Eskalationspfade. Sie setzt voraus, dass die Aufsichtspersonen kompetent sind und Zeit zum Handeln haben, und schützt vor blindem Abnicken (Rubber-Stamping) und Automatisierungsbias. Sie dient dazu, zwei Fehler zu vermeiden: den abwesenden Menschen und den Alibi-Menschen, der das Handeln des Agenten weder verstehen noch überschreiben oder dafür geradestehen kann.