企业级 AI 治理
管理企业级 AI 和智能体系统的实用参考库——涵盖主要监管体系(欧盟 AI 法案、ISO/IEC 42001、NIST AI RMF)和实用的智能体 AI 治理清单,每项均包含范围、关键要求、可实施的控制措施、清单和常见误区。专为人类和 AI 智能体打造。
框架
5NIST AI 风险管理框架
NIST AI RMF 1.0 是一个自愿采用且被广泛接受的框架,用于管理整个生命周期中的 AI 风险。它围绕四个功能展开——治理(Govern)、映射(Map)、测量(Measure)和管理(Manage),以及一套可信 AI 的特征(有效且可靠、安全、安全且有弹性、可问责且透明、可解释、隐私增强以及管理有害偏见的公平性)。配套的生成式 AI 配置文件(Generative AI Profile)使其适用于 GenAI 风险。与《欧盟 AI 法案》不同,它不是法律,但它是运营 AI 治理的通用支柱。
企业级 AI 治理框架
一个用于在整个组织内治理 AI 的综合运行模型。它定义了原则、问责制(RACI)、AI 风险分类法、生命周期关卡和策略层级,以确保 AI 的使用合法、安全并符合风险偏好。它将《欧盟 AI 法案》(EU AI Act)、ISO/IEC 42001 和 NIST AI RMF 整合为一个内部项目——一次合规,到处复用——并将智能体治理清单作为其具体的控制集。使用它为每个生产环境中的 AI 系统指定明确的所有者、风险层级以及一个能够真正阻止非合规部署的关卡。
智能体系统审计框架
一个实用且不绑定特定厂商的框架,用于使智能体具备可审计性并对其进行审计。它定义了独立审查员所需的证据 —— 每次决策和工具调用的不可变且关联的追踪记录、模型 and 版本溯源、评估报告、审批和事件记录 —— 以及如何测试控制措施和对高吞吐量运行进行抽样。每种证据类型都映射到 ISO/IEC 42001 和 NIST AI RMF,以便审计员能够验证智能体是否保持在其治理边界内。使用它从一开始就设计可审计性,而不是事后弥补。
OWASP LLM 应用十大安全漏洞
OWASP LLM 应用十大安全漏洞是针对基于语言模型构建的系统中可能出现的问题的通用词汇表。它不是一个控制框架,也不会告诉你应该实现什么——它命名了漏洞类别,从提示词注入、过度授权到无限制消耗,以便团队、审计人员和供应商能够基于相同的概念进行讨论。它的实用价值在于作为您自身架构的核对清单,以及作为报告发现问题时的通用语言。
MITRE ATLAS
MITRE ATLAS 是对抗视角的防御地图。如果说 OWASP 命名了应用程序中的漏洞类别,那么 ATLAS 则编目了攻击者实际针对 AI 系统所使用的战术和技术——包括模型侦察、获取访问权限、策划攻击、规避防御、外发数据等。它按照 MITRE ATT&CK 组织传统入侵的方式进行组织,并基于已记录的案例研究而非假设。
指南
2智能体 AI 治理清单
一份实用且不绑定特定厂商的清单,用于在企业中治理智能体 AI —— 将 EU AI Act、ISO/IEC 42001 和 NIST AI RMF 的原则转化为可在支撑系统中实施的具体控制措施。它涵盖了人工监督、护栏、审计日志、评估、访问控制、提示词注入防御和事件响应,并将每项控制措施映射到使其落地运行的模式和知识单元。在允许智能体在生产环境中运行之前,将其用作就绪性闸口。
人工监督与问责政策
一项将 EU AI Act 第 14 条的人工监督要求转化为智能体 AI(agentic AI)实践的运营政策。它为每个智能体分配一名指定的明确责任人,根据风险设定监督级别(人机协同 in-the-loop、人机监视 on-the-loop、人机脱离 out-of-the-loop),并定义干预、覆盖和终止权限以及升级路径。它要求监督人员具备相应能力并有充足的时间采取行动,同时防范流于形式的审批和自动化偏见。该政策旨在防止两种失败情况:人员缺位,以及无法真正理解、覆盖智能体行为或为其负责的“工具人”式监督。