Est-ce un substitut à l'EU AI Act ou à l'ISO 42001 ?

Non. Il s'agit d'un ensemble de contrôles pratiques qui opérationnalise leurs principes pour les agents. Utilisez-le en complément des cadres formels et des conseils juridiques, et non à leur place.

Quel contrôle importe le plus pour les agents autonomes ?

La supervision humaine basée sur le risque, combinée à l'accès de moindre privilège et à la journalisation d'audit — ensemble, ils limitent ce qu'un agent peut faire et rendent chaque action auditable.

Comment se connecte-t-elle à la bibliothèque de patterns ?

Chaque contrôle est associé aux patterns qui l'implémentent — human-approval-gate pour la supervision, reflection et evaluator-optimizer pour la qualité — ainsi qu'à des unités de connaissance comme les guardrails et l'observabilité de l'IA.

GOV-004PlaybookMis à jour 2026-06-21 · Version 1.0

Checklist de gouvernance de l'IA agentique

Une checklist pratique et neutre vis-à-vis des fournisseurs pour gouverner l'IA agentique en entreprise — traduisant les principes de l'EU AI Act, de l'ISO/IEC 42001 et du NIST AI RMF en contrôles concrets à implémenter dans un harness. Elle couvre la supervision humaine, les guardrails, la journalisation d'audit, l'évaluation, le contrôle d'accès, la défense contre l'injection de prompts et la réponse aux incidents, et associe chaque contrôle aux patterns et unités de connaissance qui l'opérationnalisent. Utilisez-la comme un jalon de validation (readiness gate) avant de laisser un agent agir en production.

Preuve: Observation du secteurConfiance: MoyenSource: Observation du secteurSource: Expérience personnelle

EU AI ActISO/IEC 42001NIST AI RMF

Lisible par machine: JSON

Définition

La checklist de gouvernance de l'IA agentique est un ensemble de contrôles opérationnels qui transforme les cadres de gouvernance de l'IA en exigences concrètes et applicables pour les agents autonomes opérant en production.

Portée

Les équipes qui conçoivent ou déploient des agents autonomes ou semi-autonomes qui utilisent des outils, agissent sur des systèmes ou prennent des décisions importantes. C'est un compagnon pratique pour les cadres formels, et non un substitut à un avis juridique.

Exigences clés

Supervision humaine basée sur le risque : soumettre les actions à fort impact, irréversibles ou réglementées à une approbation humaine.
Guardrails sur les entrées et les sorties, y compris la défense contre l'injection de prompts et la protection des données personnelles (PII).
Journalisation d'audit complète et observabilité pour que chaque action soit traçable.
Évaluation avant et après le déploiement, par rapport à un ensemble d'évaluation (eval set) maintenu.
Accès de moindre privilège pour les outils et les données auxquels l'agent peut accéder.
Une réponse aux incidents définie et un bouton d'arrêt d'urgence (kill-switch) pour les agents en production.

Contrôles

Portes d'approbation humaine: Acheminer les actions à fort impact via un point de contrôle humain (EU AI Act Art. 14). Implémente le pattern human-approval-gate.
Guardrails: Valider et contraindre les entrées et les sorties ; se défendre contre l'injection de prompts et bloquer les actions non conformes aux politiques.
Journalisation d'audit et observabilité: Tracer chaque décision, appel d'outil et action afin que l'agent soit auditable et que les incidents puissent être reconstitués.
Harness d'évaluation: Évaluer le comportement par rapport à un ensemble d'évaluation (eval set) avant le déploiement et surveiller les régressions après — NIST 'Measure'.
Accès de moindre privilège: Restreindre les outils, les données et les permissions auxquels un agent peut accéder au strict minimum requis par sa tâche.
Réponse aux incidents et bouton d'arrêt d'urgence (kill-switch): Définir comment détecter, arrêter et corriger un agent au comportement anormal, y compris un moyen de l'interrompre immédiatement.

Liste de contrôle

01Classifier le risque de l'agent et identifier les actions qui nécessitent une approbation humaine.
02Implémenter des guardrails pour les entrées/sorties et une défense contre l'injection de prompts.
03Activer la journalisation d'audit et l'observabilité de bout en bout.
04Mettre en place un ensemble d'évaluation (eval set) et l'exécuter avant le déploiement ainsi qu'en continu.
05Appliquer une restriction de moindre privilège aux outils, données et identifiants.
06Définir la réponse aux incidents, les seuils de surveillance et un bouton d'arrêt d'urgence (kill-switch).
07Associer chaque contrôle à vos obligations en vertu de l'EU AI Act, de l'ISO 42001 et du NIST AI RMF.
08Documenter la responsabilité (ownership) et réévaluer l'agent de manière périodique.

Pièges courants

Accorder à un agent un accès étendu aux outils et aux données « par sécurité », ce qui crée une zone d'impact (blast radius) importante.
Tout filtrer (fatigue de l'approbation) ou ne rien filtrer (absence de supervision) au lieu de filtrer en fonction du risque.
Déployer sans ensemble d'évaluation (eval set), de sorte que la qualité et la sécurité ne sont pas mesurées.
Aucun bouton d'arrêt d'urgence (kill-switch) ni plan d'incident lorsqu'un agent se comporte de manière anormale en production.
Ignorer l'injection de prompts comme surface d'attaque pour les agents utilisant des outils.

Preuves de production

Contexte: Équipes mettant en production un agent autonome ou semi-autonome qui utilise des outils et prend des décisions importantes.
Scénario: Avant la mise en service, l'équipe utilise la checklist comme jalon de validation (readiness gate) : classifier le risque de l'agent, soumettre les actions à fort impact à une approbation humaine, ajouter des guardrails et une défense contre l'injection de prompts, activer la journalisation d'audit et l'observabilité, mettre en place un ensemble d'évaluation, restreindre l'accès au moindre privilège, et définir la réponse aux incidents ainsi qu'un bouton d'arrêt d'urgence (kill-switch).
Technologie: Un harness combinant une porte d'approbation humaine, des guardrails, une journalisation d'audit/observabilité, un harness d'évaluation et un accès restreint aux outils et identifiants.
Charge: Appliqué par agent avant le déploiement et réévalué périodiquement ; le contrôle le plus lourd (approbation humaine) est réservé au groupe restreint d'actions à fort impact.
Résultats: Pattern observé : les équipes qui filtrent par risque, appliquent le moindre privilège et instrumentent dès le premier jour limitent la zone d'impact (blast radius) des erreurs de l'agent ; celles qui accordent un accès étendu « par sécurité » ou déploient sans évaluations découvrent les défaillances en production. Mesurez la pertinence de l'escalade, le taux de fausses actions et le temps moyen de détection (MTTD).

Leçons apprises

Traitez la checklist comme un jalon de validation (readiness gate), et non comme un audit ponctuel — réexécutez-la à mesure que les outils et l'autonomie de l'agent se développent.
L'accès de moindre privilège et l'approbation humaine basée sur le risque limitent la zone d'impact (blast radius) bien plus que n'importe quel guardrail individuel.
Sans ensemble d'évaluation et journalisation d'audit en place avant le lancement, vous ne pouvez pas distinguer un agent sûr d'un agent chanceux.
Associez chaque contrôle à un responsable concret ; la gouvernance sans responsabilité n'est que de la documentation.

Exemples

Un agent dont l'action de remboursement est soumise à une approbation humaine tandis que les consultations en lecture seule s'exécutent librement.
Un guardrail bloquant une instruction issue d'une injection de prompts visant à exfiltrer des données via un outil.
Une exécution d'évaluation détectant une régression de sécurité avant le déploiement d'une mise à jour de l'agent.

FAQ

Est-ce un substitut à l'EU AI Act ou à l'ISO 42001 ?: Non. Il s'agit d'un ensemble de contrôles pratiques qui opérationnalise leurs principes pour les agents. Utilisez-le en complément des cadres formels et des conseils juridiques, et non à leur place.
Quel contrôle importe le plus pour les agents autonomes ?: La supervision humaine basée sur le risque, combinée à l'accès de moindre privilège et à la journalisation d'audit — ensemble, ils limitent ce qu'un agent peut faire et rendent chaque action auditable.
Comment se connecte-t-elle à la bibliothèque de patterns ?: Chaque contrôle est associé aux patterns qui l'implémentent — human-approval-gate pour la supervision, reflection et evaluator-optimizer pour la qualité — ainsi qu'à des unités de connaissance comme les guardrails et l'observabilité de l'IA.

Opérationnalisé par

Porte d'approbation humaine Évaluateur-Optimiseur Réflexion Routage

Connaissances connexes

Qu'est-ce que la gouvernance de l'IA ?Que sont les garde-fous (guardrails) de l'IA ?Qu'est-ce que le pattern Human-in-the-Loop ?Qu'est-ce que l'observabilité des agents d'IA ?Qu'est-ce que l'évaluation de l'IA agentique ?Qu'est-ce que l'injection de prompt ?