人工监督与问责政策

定义

人工监督与问责政策是一套具有约束力的规则集，它为每个智能体分配一名指定的负责人，并确保有能力的人员能够理解、干预和终止其行为。

范围

每一个在生产或试点环境中运行、使用工具、对系统执行操作或做出重大决策的智能体，以及负责监督它们的系统所有者、审批者和操作员。它使第 14 条具有可操作性；它不能替代法律建议。

关键要求

• 每个智能体都有一名指定的明确责任人——问责权绝不能转移给模型。
• 监督级别与风险相匹配：对于高影响或不可逆的行为采用人机协同（in-the-loop），对于可逆的高频行为采用人机监视（on-the-loop），仅对于低风险且可逆的任务采用人机脱离（out-of-the-loop）。
• 每个智能体都提供经过测试的拒绝、修改和终止（紧急停止开关）控制，并附带做出明智决策所需的上下文信息。
• 升级阈值根据影响、不可逆性、权利或安全、置信度以及新颖性，将重大决策路由给人工处理。
• 监督人员必须具备相应能力、获取清晰的信息，并拥有真正的授权和充足的行动时间。
• 积极应对自动化偏见和流于形式的审批，而不是假定这些问题不存在。

控制措施

指定的明确责任人

为每个智能体的结果分配一名负责人。“模型做出的决定”不是可接受的解释。

与风险相匹配的监督级别

根据操作影响和可逆性，为每个智能体定义“人在环路中”（in-the-loop）、“人在环路上”（on-the-loop）或“人在环路外”（out-of-the-loop）。针对高影响操作实现“人工审批关卡”（human-approval-gate）模式。

覆盖与终止权限

提供经过测试的拒绝、修改和终止控制；呈现足够的上下文以实现知情覆盖。终止操作必须快速且触手可及。

升级上报阈值

当跨越影响、不可逆性、权利/安全、低置信度或新颖性阈值时，将决策路由给人工。实现“人工升级上报”（human-escalation）模式。

监督人员能力

针对智能体的领域和局限性对监督人员进行培训和认证，使监督具有实质意义，而非流于形式。

防走过场保护机制

对审批进行限流并要求提供理由；监控审批时间和覆盖率，以检测自动化偏差。

清单

• 01为每个生产环境中的智能体指定一名负责的拥有者并予以记录。
• 02根据影响和可逆性对每个智能体的操作进行分类，并分配监督级别。
• 03为每个智能体实现并测试拒绝、修改和终止（紧急停止开关）控制。
• 04确保智能体为任何需要监督的决策呈现易于理解的上下文。
• 05针对影响、权利/安全、置信度和新颖性定义并配置升级上报阈值。
• 06针对智能体的领域和局限性对监督人员进行培训，并保持其认证的有效性。
• 07增加防走过场保护机制，并监控审批时间和覆盖率。
• 08记录每次审批和覆盖的操作人员、原因及时间戳，并定期审查阈值。

常见误区

• 象征性监督：人员在缺乏上下文、权限或时间来实际评估操作的情况下直接点击批准。
• 自动化偏差：审批者过度信任智能体，以至于不再仔细审查其输出。
• 责任分散：没有指定单一的拥有者，导致发生故障时没有可追责的人员。
• 无法触及的覆盖：终止控制响应缓慢、隐藏过深或从未经过测试。
• 阈值漂移：升级上报限制仅在设置时确定一次，随着智能体业务范围的扩大而从未更新。

示例

• 一个财务智能体，其超过支出上限的付款需要“人在环路中”的人工审批，而对账工作则在“人在环路上”运行。
• 一个支持智能体，当其置信度较低或请求影响到客户权益时，会升级上报给人工处理。
• 在发生事件时，由指定的拥有者承担责任，且覆盖日志能够显示是谁批准了该操作以及原因。

常见问题

人工监督是否意味着每件事都需要人工批准？

不。监督是分层的：针对高影响或不可逆的操作采用“人在环路中”（in-the-loop），针对可逆的高频操作采用“人在环路上”（on-the-loop）监控，并在整体上保持“人为主导”（human-in-command）的态势。该模式根据风险进行扩展，使监督保持实质意义，而不是演变成审批疲劳。

责任可以由 AI 厂商承担吗？

不能。与厂商的关系是单独管理的，但您指定的系统拥有者仍需对智能体的部署和使用方式负责。自动化是一种工具，而不是免责辩护。

我们如何防止走过场和自动化偏差？

为每个决策呈现易于理解的上下文，对审批进行限流并要求提供理由，监控审批时间和覆盖率，并通过培训和轮岗保持监督人员的能力。

参考文献

• EU AI Act — Article 14 (Human oversight)
• NIST — AI Risk Management Framework (AI RMF 1.0)
• OECD — AI Principles

相关治理内容