限定范围的工具目录
前馈推论性由平台吸收列出了智能体可以调用的每个工具,包括其范围、是否具有写入权限,以及攻击者通过调用它能获得什么。没有被记录的工具就是未经审查的权限。
为何属于该象限: 它在任何内容运行之前限制了可能存在的内容,但没有任何机制强制其完整性:目录的价值取决于编写者的尽职程度。
响应框架
- EU AI Act: Art. 9, Art. 14, Art. 26
- ISO/IEC 42001: A.6 AI system life cycle, A.9 Use of AI systems
- NIST AI Risk Management Framework 1.0: GOVERN, MAP
- OWASP Top 10 for LLM Applications: LLM06 Excessive Agency
- MITRE ATLAS: Initial Access, Privilege Escalation
如何测试
生成目录。每个条目都有书面的范围和指定的负责人,并且智能体可以调用的任何内容都没有遗漏。
假设
假设没有人能凭记忆记住所有的工具接口,且接口的变化速度快于记忆更新的速度。