Politique de surveillance humaine et de responsabilité

Définition

Une politique de surveillance humaine et de responsabilité est un ensemble de règles contraignantes qui attribue un responsable humain désigné pour chaque agent et garantit qu'une personne compétente puisse comprendre, intervenir et arrêter ses actions.

Portée

Chaque agent en production ou en phase pilote qui utilise des outils, agit sur des systèmes ou prend des décisions importantes, ainsi que les propriétaires de systèmes, approbateurs et opérateurs qui les surveillent. Elle opérationnalise l'article 14 ; elle ne remplace pas un avis juridique.

Exigences clés

• Chaque agent a un unique responsable désigné — la responsabilité n'est jamais transférée au modèle.
• Le niveau de surveillance est adapté au risque : dans la boucle pour les actions à fort impact ou irréversibles, sur la boucle pour les actions réversibles à grand volume, hors de la boucle uniquement pour les tâches réversibles à faible risque.
• Chaque agent expose des commandes testées de rejet, de modification et d'arrêt d'urgence (kill-switch) avec le contexte nécessaire pour une décision éclairée.
• Des seuils d'escalade orientent les décisions importantes vers des humains en fonction de l'impact, de l'irréversibilité, des droits ou de la sécurité, de la confiance et de la nouveauté.
• Les surveillants doivent être compétents, informés de manière intelligible, et disposer d'une autorité réelle ainsi que du temps nécessaire pour agir.
• Le biais d'automatisation et la validation automatique systématique sont activement combattus, et non ignorés.

Contrôles

Responsable désigné

Attribuez un responsable humain unique pour les résultats de chaque agent. « Le modèle a décidé » n'est pas une explication acceptable.

Niveau de surveillance adapté au risque

Définir le niveau d'intervention humaine (in-the-loop, on-the-loop ou out-of-the-loop) par agent en fonction de l'impact et de la réversibilité de l'action. Implémente le modèle de barrière d'approbation humaine (human-approval-gate) pour les actions à fort impact.

Autorité de contournement et d'arrêt

Exposer des commandes testées de rejet, de modification et d'arrêt ; présenter suffisamment de contexte pour permettre un contournement éclairé. L'arrêt doit être rapide et accessible.

Seuils d'escalade

Aiguiller les décisions vers des humains lorsque les seuils d'impact, d'irréversibilité, de droits/sécurité, de faible confiance ou de nouveauté sont franchis. Implémente le modèle d'escalade humaine (human-escalation).

Compétence des superviseurs

Former et certifier les superviseurs sur le domaine et les limites de l'agent afin que la supervision soit réelle et non purement nominale.

Garanties contre la validation automatique

Réguler et exiger une justification pour les approbations ; surveiller le temps d'approbation et les taux de contournement pour détecter le biais d'automatisation.

Liste de contrôle

• 01Désigner un responsable unique pour chaque agent en production et l'enregistrer.
• 02Classifier les actions de chaque agent par impact et réversibilité, et attribuer un niveau de supervision.
• 03Implémenter et tester des commandes de rejet, de modification et d'arrêt d'urgence (kill-switch) pour chaque agent.
• 04S'assurer que l'agent présente un contexte intelligible pour toute décision nécessitant une supervision.
• 05Définir et configurer des seuils d'escalade pour l'impact, les droits/sécurité, la confiance et la nouveauté.
• 06Former les superviseurs sur le domaine et les limites de l'agent et maintenir leur certification à jour.
• 07Ajouter des garanties contre la validation automatique et surveiller le temps d'approbation ainsi que les taux de contournement.
• 08Consigner chaque approbation et contournement avec l'auteur, le motif et l'horodatage, et réviser périodiquement les seuils.

Pièges courants

• Supervision de façade : un humain clique sur approuver sans disposer du contexte, de l'autorité ou du temps nécessaire pour évaluer réellement l'action.
• Biais d'automatisation : les approbateurs font tellement confiance à l'agent qu'ils cessent d'examiner ses résultats.
• Responsabilité diffuse : aucun responsable unique n'est désigné, de sorte qu'une défaillance ne peut être imputée à aucun humain.
• Contournement inaccessible : une commande d'arrêt lente, masquée ou jamais testée.
• Dérive des seuils : des limites d'escalade définies une fois pour toutes et jamais mises à jour à mesure que le périmètre de l'agent s'étend.

Exemples

• Un agent financier dont les paiements supérieurs à un plafond de dépenses nécessitent une approbation humaine directe (in-the-loop), tandis que les rapprochements s'effectuent sous supervision indirecte (on-the-loop).
• Un agent de support qui escalade vers un humain lorsque son niveau de confiance est faible ou qu'une demande affecte les droits d'un client.
• Un incident pour lequel le responsable désigné est tenu pour responsable et où le journal des contournements indique qui a approuvé l'action et pourquoi.

FAQ

La supervision humaine signifie-t-elle qu'un humain doit tout approuver ?

Non. La supervision est hiérarchisée : intervention directe (in-the-loop) pour les actions à fort impact ou irréversibles, surveillance indirecte (on-the-loop) pour les actions réversibles à grand volume, et une posture globale de contrôle humain (human-in-command). Le modèle s'adapte au risque afin que la supervision reste pertinente au lieu de générer une lassitude face aux approbations.

La responsabilité peut-elle incomber au fournisseur d'IA ?

Non. Les relations avec les fournisseurs sont régies séparément, mais le responsable désigné de votre système reste redevable de la manière dont l'agent est déployé et utilisé. L'automatisation est un outil, pas une défense.

Comment éviter la validation automatique et le biais d'automatisation ?

Présenter un contexte intelligible pour chaque décision, réguler et exiger une justification pour les approbations, surveiller le temps d'approbation et les taux de contournement, et maintenir la compétence des superviseurs par la formation et la rotation.

Références

• EU AI Act — Article 14 (Human oversight)
• NIST — AI Risk Management Framework (AI RMF 1.0)
• OECD — AI Principles

Gouvernance connexe