Cadre d'audit pour les systèmes agentiques
Un cadre pratique et neutre vis-à-vis des fournisseurs pour rendre un agent auditable et pour l'auditer. Il définit les preuves dont un réviseur indépendant a besoin — des traces immuables et corrélées de chaque décision et appel d'outil, la provenance du modèle et de sa version, les rapports d'évaluation, les enregistrements d'approbations et d'incidents — ainsi que la manière de tester les contrôles et d'échantillonner les exécutions à grand volume. Chaque type de preuve est associé à l'ISO/IEC 42001 et au NIST AI RMF afin qu'un auditeur puisse vérifier que l'agent est resté dans ses limites gouvernées. Utilisez-le pour concevoir l'auditabilité dès le départ, et non après coup.
Définition
Un audit d'agent est un examen indépendant et basé sur des preuves qui détermine si un système agentique a fonctionné dans le cadre de son périmètre, de ses contrôles et de ses politiques autorisés sur une période définie, et si les affirmations de gouvernance formulées à son sujet sont étayées par des preuves fiables.
Portée
Les auditeurs, les équipes d'assurance et de gestion des risques, ainsi que les propriétaires de systèmes qui doivent rendre leurs agents auditables dès la conception (auditable by design). Il s'applique aux agents autonomes ou semi-autonomes qui utilisent des outils et agissent dans le temps, et prend en charge à la fois l'assurance interne et l'audit externe ou réglementaire. C'est un compagnon pratique pour les cadres formels, et non un substitut à un avis juridique.
Exigences clés
- Auditabilité dès la conception (auditability by design) : l'agent doit émettre suffisamment de preuves structurées au moment de l'exécution pour pouvoir reconstituer n'importe quelle exécution ultérieurement.
- Chaque exécution produit une trace immuable et corrélée : l'objectif, chaque étape et appel d'outil avec paramètres et résultats, les approbations, les contournements (overrides) et le résultat final.
- Les preuves doivent être complètes, attribuables, horodatées et inviolables (tamper-evident) pour avoir une valeur probante.
- La provenance du modèle et de sa version (prompt, outils, modèle) est capturée à chaque exécution afin que le comportement soit lié à une configuration connue.
- L'échantillonnage est structuré en couches : stratifié par risque, statistique, et examen à 100 % de l'ensemble des exceptions, contournements, refus et incidents.
- Les preuves d'audit correspondent à l'audit interne de la norme ISO/CEI 42001 (Clause 9) et aux fonctions Measure et Manage du NIST AI RMF.
Contrôles
- Journaux d'audit immuables et traçabilité
- Capturer une trace corrélée par exécution — identité et version de l'agent, objectif, chaque étape, appel d'outil, résultat, approbations et issue — et la protéger contre toute altération. Implémente l'observabilité de l'IA.
- Provenance du modèle et de la version
- Enregistrer le prompt exact, le jeu d'outils et la version du modèle derrière chaque exécution afin que le comportement soit attribuable à une référence connue et reproductible par configuration.
- Preuves d'évaluation
- Conserver les rapports d'évaluation pré-déploiement et continus ainsi que les résultats des jalons de validation afin que l'auditeur puisse vérifier que la sécurité et la qualité ont été mesurées — fonction « Measure » du NIST.
- Test des contrôles et échantillonnage
- Tester chaque contrôle par rapport aux preuves en utilisant une méthodologie d'échantillonnage documentée : stratifiée par risque, statistique, et examen complet des exceptions.
- Registres d'approbation et d'incident
- Capturer les approbations humaines, les contournements et les incidents avec l'identité de l'acteur et l'horodatage. Implémente le modèle de jalon de validation par approbation humaine.
- Attestations et gestion des constats
- Les propriétaires de systèmes et de contrôles signent des attestations appuyées par des preuves ; les constats sont suivis jusqu'à leur résolution avec un niveau de gravité et des échéances.
Liste de contrôle
- 01Confirmer que chaque exécution d'agent produit une trace complète et corrélée, liée par un identifiant de trace stable.
- 02Vérifier que les journaux sont infalsifiables, horodatés et conservés pendant toute la période d'audit et de conformité réglementaire.
- 03Vérifier que chaque exécution enregistre la provenance du modèle et de la version (prompt, outils, version du modèle).
- 04Récupérer une cartographie des contrôles / Déclaration d'applicabilité liant chaque contrôle à ses preuves.
- 05Conserver et examiner les rapports d'évaluation pré-déploiement et continus ainsi que les résultats des jalons de validation.
- 06Confirmer l'existence de registres d'approbation, de contournement et d'incident comportant l'identité de l'acteur et l'horodatage.
- 07Appliquer une méthodologie d'échantillonnage documentée — stratifiée par risque, statistique, et couverture à 100 % des exceptions.
- 08Suivre les constats jusqu'à leur résolution avec un niveau de gravité et des échéances, et recueillir les attestations signées des propriétaires.
Pièges courants
- Agents non auditables : journalisation ajoutée après coup, laissant des lacunes qu'aucun audit ne peut combler.
- Journaux modifiables : enregistrements susceptibles d'être altérés, détruisant leur valeur probante.
- Angles morts de l'échantillonnage : échantillonnage uniquement aléatoire qui passe à côté d'actions rares mais catastrophiques.
- Attestation sans preuve : propriétaires validant des contrôles qu'ils ne peuvent pas démontrer.
- Cimetière de constats : problèmes soulevés mais jamais corrigés ni re-testés.
Exemples
- Un auditeur reconstitue un remboursement contesté en suivant sa trace corrélée, de l'objectif à l'appel d'outil, puis à l'approbation humaine.
- Un contrôle d'audit continu signale un appel d'outil en dehors de la liste d'autorisation par rapport au flux de journaux en direct.
- Les rapports d'évaluation conservés correspondent à la fonction Measure du NIST AI RMF, prouvant que les jalons de sécurité ont été franchis avec succès avant le déploiement.
FAQ
- Peut-on vraiment auditer un agent non déterministe ?
- Oui — vous auditez les contrôles et le comportement enregistré, pas le déterminisme. Des traces complètes et immuables permettent de reconstituer n'importe quelle exécution spécifique, même si elle ne peut pas être reproduite à l'identique.
- Quelle doit être la taille de l'échantillon d'audit ?
- Assez grande pour atteindre statistiquement votre niveau d'assurance cible, plus 100 % des exceptions et des actions à fort impact. L'échantillonnage ne remplace jamais un examen complet des exceptions.
- Comment les preuves d'audit correspondent-elles aux référentiels ?
- Les traces et les journaux soutiennent les fonctions Measure et Manage du NIST AI RMF ainsi que l'audit interne de la clause 9 de l'ISO/CEI 42001 ; une cartographie des contrôles ou une Déclaration d'applicabilité lie chaque contrôle aux preuves qui démontrent son fonctionnement.