エージェンティック・コントロール・マトリクス

エージェンティック・コントロール・マトリクス

EU AI Act、ISO/IEC 42001、NIST AI RMF、OWASP LLM Top 10、およびMITRE ATLASが要求する内容を、それを実装するハーネスコンポーネントにマッピングする18のコントロール。それぞれに、実際にそれが備わっているかを判定するテストが付属しています。

バージョン 1.2 · 更新日 2026-08-27 · 18 コントロール

JSONCSV同一ソース、3つの形式。CC BY 4.0 — 引用してご利用ください。

マッピングされたフレームワーク

EU AI Act (Regulation 2024/1689)regulation

引用元: 条項

18 個のコントロールがこれを引用

eur-lex.europa.eu
ISO/IEC 42001 — AI management systemstandard

引用元: 附属書A管理策グループ

18 個のコントロールがこれを引用

www.iso.org
NIST AI Risk Management Framework 1.0framework

引用元: コア機能

18 個のコントロールがこれを引用

www.nist.gov
OWASP Top 10 for LLM Applicationsframework

引用元: エントリ

18 個のコントロールがこれを引用

genai.owasp.org
MITRE ATLASframework

引用元: 戦術

16 個のコントロールがこれを引用

atlas.mitre.org

読み方

各行は1つのコントロールを表しています。それが必要とするもの、対応するフレームワーク、それを実装するパターン、そしてそれが備わっているかを確認する方法です。重要なのはテストです。失敗させようとしたことのないコントロールは、単なる主観的な意見にすぎません。

マッピングの粒度はソースによって異なり、フレームワークごとに宣言されています。これは、ソースの精度が均一ではないためです。NISTのサブカテゴリを条項番号のように引用することは、厳密に見えるかもしれませんが、正確性は低くなります。

これらのマッピングは解釈に基づくものです。これらは、あるエンジニアが要件をエージェントのアーキテクチャにどのように落とし込むかを読み解いたものであり、議論や修正を促すために公開されています。ここにある内容は法的アドバイスではなく、いかなる証明も行うものではありません。

このページ上のすべてのコンテンツは単一のJSONファイルから生成されており、ビルドごとにすべての参照がコーパスに対して検証されます。そのため、コントロールが存在しないパターン、ナレッジユニット、またはフレームワークを引用することはありません。

第2の軸

グループはコントロールがどこで動作するかを示します。しかし、それがどのように動作を規制するかは示しておらず、同じグループ内の2つのコントロールが、共通点のない方法で機能することもあります。そのため、すべてのコントロールはさらに2つのこと、すなわち「いつ動作するか」と「何がその判定を下すか」を宣言します。

フィードフォワードは入力（存在し得るもの、呼び出され得るもの、到達し得るもの）に対して動作し、結果を測定することはありません。フィードバックは、システムが実際に実行したことを測定し、その測定値に基づいて動作します。そのタイミングは、コントロールが保護するアクションに対して相対的です。モデルの出力がシェルに到達する前にエンコードすることは、モデルにとって何であれ、シェルにとってはフィードフォワードになります。

確定的（Deterministic）とは、誰の解釈にも依存しないルールから判定が下されることを意味します。同じ状況であれば、2回とも同じように判定されます。推論的（Inferential）とは、モデルまたは人の判断から判定が下されることを意味し、その場合、同じ状況であっても2通りの判定が下される可能性があります。

どちらの軸にも優劣はありません。確定的コントロールは、想定して書かれていないケースを評価することはできませんが、推論的コントロールはそれが可能です。しかし、唯一のコントロールが推論的かつフィードバックであるリスクには、それを防止するものも、2回とも同じように判定するものも存在しません。これは設計に関する事実であり、単なる意見ではありません。

フィードフォワード確定的8 コントロール
フィードフォワード推論的2 コントロール
フィードバック確定的3 コントロール
フィードバック推論的5 コントロール

分布が示すもの

手動で作成されたものではなく、コントロールから計算されたものです。これらのグループは軸上で単一の値を取ります。その一部は定義によるものです（例えば、エビデンスはその構造上、事後のものです）。また、一部は調査結果によるものです。

  • 権限とアクセス範囲動作タイミングフィードフォワード3 コントロール
  • 送信と露出判定方法確定的3 コントロール
  • 人の監視判定方法推論的2 コントロール
  • エビデンス動作タイミングフィードバック2 コントロール

各コントロールを無効にする要因

ハーネスは単調に改善し続けるものではありません。次のモデルには存在しない制限を補うために書かれたルールは、モデルがすでに知っていることを教えるためにトークンを消費し続けます。コンテキストウィンドウが希少だった頃から引き継がれているコンテキストブロックは、今でも引き継がれたままです。古いモデル向けに狭められたツールサーフェスは、より優れたモデルが試行できることを依然として制限します。ハーネスのコンポーネントには、誰かが有効期限を書き込まない限り有効期限がないため、これらの問題はどれも自己主張することはありません。

したがって、すべてのコントロールは、モデルに関して何を前提としているか、およびどのような条件下で廃止されるべきかを宣言します。以下のカウントは、それらの条件から導き出されたものであり、それらを中心に主張されたものではありません。そして、これらは両方向を示しています。このマトリックスの大部分は、能力を理由に期限切れになることはまったくありません。検証されていないOriginは、モデルが向上したからといって安全になるわけではありません。

厄介な数値は2番目のものです。誰も測定したことのない廃止条件は、体裁のよい仮説にすぎず、このフィールドは省略されるのではなく、すべての行でnullに設定されているため、ギャップは隠されることなく明示されています。

数値によって終了する4 コントロール
プラットフォームが吸収する7 コントロール
能力を理由としない7 コントロール

18/18

未検証

廃止条件が、特定のモデル世代に対して一度も測定されたことがないコントロール。

0/18

メトリクスを動かさない

スコアカード上のメトリクスを動かさないため、その価値をいかなる数値からも読み取ることができないコントロール。

権限とアクセス範囲

ACM-01

スコープ定義されたツールカタログ

フィードフォワード推論的プラットフォームが吸収する

エージェントが呼び出し可能なすべてのツールが、そのスコープ、書き込み権限の有無、および攻撃者がそれを呼び出すことで得られるメリットとともにリスト化されています。誰も文書化していないツールは、誰もレビューしていない権限と同じです。

このクアドラントである理由: 実行前に存在し得るものを制限しますが、その完全性を強制するものは何もありません。カタログの価値は、それを記述した人の勤勉さに依存します。

対応先

  • EU AI Act: Art. 9, Art. 14, Art. 26
  • ISO/IEC 42001: A.6 AI system life cycle, A.9 Use of AI systems
  • NIST AI Risk Management Framework 1.0: GOVERN, MAP
  • OWASP Top 10 for LLM Applications: LLM06 Excessive Agency
  • MITRE ATLAS: Initial Access, Privilege Escalation

テスト方法

カタログを作成します。すべてのエントリに書面によるスコープと指定された所有者が存在し、エージェントが呼び出し可能なものが漏れなく含まれていることを確認します。

前提条件

ツールの全容を誰も頭の中で把握しきれず、その全容が記憶よりも速く変化することを前提としています。

廃止条件

ランタイムが、呼び出し可能なすべてのツールをそのスコープおよび所有者とともにオンデマンドで列挙できるようになれば、管理されているドキュメントはプラットフォームがすでに保持している事実の重複コピーにすぎなくなります。

改善すべきメトリクスcontain

ACM-02

最小スコープでのツールごとの認証情報

フィードフォワード確定的プラットフォームが吸収する

各ツールは、アップストリームシステムがサポートする最も狭いスコープで発行された独自の認証情報を保持します。管理者トークンに裏打ちされた読み取り専用ツールは、バグが1つあるだけで書き込みツールになってしまう危険性があります。

このクアドラントである理由: スコープはアップストリーム（入力側）で強制されます。モデルの意図に関係なく、スコープ外の呼び出しは毎回同様に失敗します。

対応先

  • EU AI Act: Art. 15, Art. 26
  • ISO/IEC 42001: A.4 Resources for AI systems, A.6 AI system life cycle
  • NIST AI Risk Management Framework 1.0: GOVERN, MANAGE
  • OWASP Top 10 for LLM Applications: LLM06 Excessive Agency, LLM02 Sensitive Information Disclosure
  • MITRE ATLAS: Credential Access, Privilege Escalation

テスト方法

各ツールについて、認証情報とそのサーバー側のスコープを示します。いずれかのツールの範囲を超えるような認証情報を、2つのツールが共有していないことを確認します。

前提条件

アップストリームシステムがアカウントよりも狭い範囲の認証情報を発行すること、およびツールの侵害が起こり得る事象であることを前提としています。

廃止条件

ツール呼び出しに、アップストリームシステムが評価する呼び出しごと・ユーザーごとの認可情報が含まれるようになり、過剰な権限を付与された長期的な認証情報が不要になった時点で、この管理策は不要になります。

改善すべきメトリクスcontain

ACM-03

パラメータの許可リスト（アローリスト）

フィードフォワード確定的プラットフォームが吸収する

ツールがアクセスできるターゲット（パス、リポジトリ、テーブル、アカウント、受信者など）はサーバー側で制限されているため、乗っ取られたエージェントが正当なツールを不正なターゲットに向け直すことはできません。

このクアドラントである理由: 呼び出しが発生する前に引数を検査し、主観的な判断ではなくルールに基づいて拒否します。

対応先

  • EU AI Act: Art. 15
  • ISO/IEC 42001: A.6 AI system life cycle
  • NIST AI Risk Management Framework 1.0: MANAGE
  • OWASP Top 10 for LLM Applications: LLM01 Prompt Injection, LLM06 Excessive Agency
  • MITRE ATLAS: Execution, Impact

テスト方法

書き込み権限を持つ各ツールを、スコープ外のターゲットを指定して呼び出します。モデルが拒否するのではなく、ツール自体の境界によって呼び出しが拒否されることを確認します。

前提条件

モデルが誘導されて正当なツールを不正なターゲットに向けてしまう可能性があり、アップストリームシステムがそれを阻止しないことを前提としています。

廃止条件

アップストリームシステムが独自の権限モデルを通じて同じ制約を強制するようになり、許可リストが重複し、不一致が生じる可能性が出てきた時点で、この管理策は不要になります。

改善すべきメトリクスcontain

送信と露出

ACM-04

デフォルト拒否の送信（エグレス）制限

フィードフォワード確定的能力を理由としない

送信トラフィックは指定された宛先にのみ到達し、それ以外はすべて拒否されます。すべてのデータ流出経路は送信リクエストに帰着するため、これはモデルが説得（操作）された後でも機能し続ける管理策です。

このクアドラントである理由: リクエストが送信される前に宛先がチェックされます。結果の測定や判断は行われません。

対応先

  • EU AI Act: Art. 15
  • ISO/IEC 42001: A.6 AI system life cycle, A.7 Data for AI systems
  • NIST AI Risk Management Framework 1.0: MANAGE
  • OWASP Top 10 for LLM Applications: LLM02 Sensitive Information Disclosure, LLM01 Prompt Injection
  • MITRE ATLAS: Exfiltration, Collection

テスト方法

エージェントの環境内から、リストにないホストをリクエストします。ネットワークまたはプロキシレイヤーで失敗し、拒否がログに記録されます。

前提条件

すべてのデータ流出経路が外部へのリクエストで終わり、正当な宛先のセットを事前に把握できることを前提としています。

廃止条件

機能面を理由に廃止することはありません。エージェントに流出させる価値のあるものがなくなったときに廃止します。これはモデルではなくデータに関する判断です。

改善すべきメトリクスcontain

ACM-05

送信拒否はエラーではなくアラート

フィードバック確定的プラットフォームが吸収する

拒否された外部へのリクエストはセキュリティシグナルとしてログに記録され、担当者に届きます。拒否は、エージェントスタックが生成する数少ない明白な攻撃シグナルの1つであり、タイムアウトと同じバケットに分類されてしまっては価値がありません。

このクアドラントである理由: すでに発生した事象（拒否）に対して動作し、ルールに基づいてそのすべてに対して実行されます。

対応先

  • EU AI Act: Art. 12, Art. 72
  • ISO/IEC 42001: A.6 AI system life cycle, Clause 9 Performance evaluation
  • NIST AI Risk Management Framework 1.0: MEASURE, MANAGE
  • OWASP Top 10 for LLM Applications: LLM02 Sensitive Information Disclosure
  • MITRE ATLAS: Exfiltration

テスト方法

拒否をトリガーします。一般的なネットワークエラーとしてではなく、宛先と呼び出し元エージェントを含む、アラート可能な個別のイベントとして表示されます。

前提条件

拒否された外部へのリクエストは十分にまれであり、ノイズではなくシグナルとなることを前提としています。

廃止条件

プラットフォーム自体が拒否をセキュリティイベントとして提示するようになるか、あるいは拒否が日常茶飯事になる（これはアラートではなく許可リストが間違っていることを意味します）場合に廃止します。

改善すべきメトリクスrecon

ACM-16

公開されたエンドポイントにおけるトランスポートおよびオリジンの検証

フィードフォワード確定的能力を理由としない

外部からアクセス可能なエージェントエンドポイントは、処理を実行する前にトランスポートを検証します。オリジンを許可リストと照合し、ブラウザ起点のクロスサイト呼び出しを拒否し、すべての呼び出し元に対して実際の429エラーでレート制限を適用します。

このクアドラントである理由: ハンドラーが実行される前に、リクエストはOriginヘッダーによって判断されます。同じ呼び出しに対しては、常に同じ応答が返されます。

対応先

  • EU AI Act: Art. 15
  • ISO/IEC 42001: A.6 AI system life cycle
  • NIST AI Risk Management Framework 1.0: MANAGE
  • OWASP Top 10 for LLM Applications: LLM10 Unbounded Consumption, LLM06 Excessive Agency
  • MITRE ATLAS: Initial Access, AI Model Access

テスト方法

外部のOrigin、およびOriginなしでエンドポイントを呼び出します。前者はハンドラーが実行される前に拒否され、後者は処理されて呼び出し元の制限にカウントされます。

前提条件

エンドポイントが外部からアクセス可能であり、他人のページによってブラウザがそのエンドポイントに向けられる可能性があること。

廃止条件

エンドポイントが外部からアクセスできなくなったとき。モデルが向上したからといって、検証されていないOriginが安全になるわけではありません。

改善すべきメトリクスcontain

実行

ACM-06

エフェメラル（一時的）で資格情報を持たない実行

フィードフォワード確定的プラットフォームが吸収する

エージェントが生成または呼び出すものはすべて、タスクごとに作成され、終了後に破棄される環境で実行され、環境に存在する資格情報は保持されません。永続化こそが、一回限りの侵害を足がかりへと変える要因です。

このクアドラントである理由: タスクが開始される前に、資格情報なしで環境が構築されます。測定するものも決定するものもありません。

対応先

  • EU AI Act: Art. 15
  • ISO/IEC 42001: A.6 AI system life cycle
  • NIST AI Risk Management Framework 1.0: MANAGE
  • OWASP Top 10 for LLM Applications: LLM05 Improper Output Handling, LLM03 Supply Chain
  • MITRE ATLAS: Execution, Persistence

テスト方法

実行中のタスクの内部で、環境を列挙します。タスクに不要な資格情報は存在せず、環境はタスクの終了とともに消滅することを確認します。

前提条件

1つのタスクの侵害が次のタスクに引き継がれてはならないこと、そしてセットアップコストが永続化のコストよりも低いことを前提としています。

廃止条件

実行環境が構造上、呼び出しごとにかつ資格情報なしで構築されるようになり、「エフェメラル」が誰でもオフにできるものではなくなったときに廃止します。

改善すべきメトリクスcontain

ACM-07

リソース制限とタイムアウト

フィードバック確定的能力を理由としない

CPU、メモリ、ディスク、実時間、および呼び出し回数はホストによって制限されます。暴走的な消費は、最も早く、最も頻繁に発生する障害モードであり、通常は攻撃者がまったく関与していません。

このクアドラントである理由: 制限とは厳密な意味でのフィードバックループです。発生した消費量を測定し、しきい値を超えたときに対処します。

対応先

  • EU AI Act: Art. 15
  • ISO/IEC 42001: A.4 Resources for AI systems, Clause 8 Operation
  • NIST AI Risk Management Framework 1.0: MEASURE, MANAGE
  • OWASP Top 10 for LLM Applications: LLM10 Unbounded Consumption
  • MITRE ATLAS: Impact

テスト方法

終了しないように設計されたタスクを実行します。クォータによって停止され、その停止が記録され、試行のコストが制限され、把握できていることを確認します。

前提条件

攻撃者の有無にかかわらず、阻止するものがなければエージェントは制限なく消費し続けることを前提としています。

廃止条件

機能面を理由に廃止することはありません。暴走的な消費はループの特性であり、より優れたモデルほど、短いタスクではなく長いタスクを試行するようになります。

改善すべきメトリクスtvtcvotvo

ACM-17

可逆性と停止制御

フィードバック推論的数値によって終了する

エージェントが実行できるすべてのアクションは、可逆的であるか、ゲート（制限）が設けられており、システム全体を停止させることなく、実行途中で人間がエージェントを停止できます。オフスイッチのない自律性は自律性ではなく、危険に身をさらしているだけです。

このクアドラントである理由: 誰かが監視し、この実行を終了すべきだと判断する必要があります。メカニズムは決定論的ですが、トリガーはそうではありません。

対応先

  • EU AI Act: Art. 14, Art. 15, Art. 26
  • ISO/IEC 42001: Clause 8 Operation, Clause 10 Improvement
  • NIST AI Risk Management Framework 1.0: MANAGE
  • OWASP Top 10 for LLM Applications: LLM06 Excessive Agency
  • MITRE ATLAS: Impact

テスト方法

実行中のエージェントを停止します。規定の時間内に停止し、中途半端に適用された変更を残さず、停止の記録とそれを実行した担当者が記録されることを確認します。

前提条件

ハーネスが気づく前に、人間が気づくような形で実行が失敗する可能性があること。

廃止条件

検証ギャップがゼロになり、それなしでも回復率が同等に達したとき。つまり、ハーネスが自身の失敗を、監視している人間と少なくとも同等の速さで検知できるようになったときです。現在のこのコーパスには、それを測定するものは存在しません。

改善すべきメトリクスcontainrecov

人の監視

ACM-08

影響の大きいアクションに対する承認ゲート

フィードフォワード推論的数値によって終了する

不可逆的、規制対象、または高コストなアクションは、承認、編集、または拒否を判断できる十分なコンテキストを持つ担当者のために一時停止します。デフォルトですべてをゲートするのではなく、リスクに基づいてゲートを設定してください。過剰なゲート設定は形骸化（ラバースタンプ化）を招き、ゲートがあるように見える分、ゲートがない状態よりも悪影響を及ぼします。

このクアドラントである理由: アクションが発生する前に停止しますが、停止する目的は人の判断であり、同じケースであっても2通りの決定が下される可能性があります。

対応先

  • EU AI Act: Art. 14, Art. 26
  • ISO/IEC 42001: A.9 Use of AI systems, A.5 Assessing impacts of AI systems
  • NIST AI Risk Management Framework 1.0: GOVERN, MANAGE
  • OWASP Top 10 for LLM Applications: LLM06 Excessive Agency
  • MITRE ATLAS: Impact

テスト方法

ゲートされたアクションと、それを設定したリスク基準をリストアップします。そのうちの1つを試行し、一時停止、ルーティングされ、決定が下した人物の身元とともに記録されることを確認します。

前提条件

影響の大きいアクションに対するモデルの判断は人の判断よりも劣ること、そしてコンテキストを与えられた人はルールよりも適切な判断ができることを前提としています。

廃止条件

信頼するに足る十分な大きさのタスクセットにおいて、ゲートされたアクションタイプの検証ギャップがゼロに達したときに廃止します。その時点を過ぎると、ゲートはレイテンシを犠牲にして形骸化した承認（ラバースタンプ）を買い取るだけになります。

改善すべきメトリクスvgaphir

ACM-09

指名されたオーナーを持つエスカレーションパス

フィードバック推論的数値によって終了する

エージェントが不確実な状態、ブロックされた状態、またはポリシー違反の状態にある場合、担当者に至る定義されたパスが存在し、その担当者が指名されています。オーナーのいないエスカレーションルートは、単なるキューにすぎません。

このクアドラントである理由: 実行がすでに到達した状態（不確実、ブロック、ポリシー違反）でトリガーされ、次に何が起こるかは判断に委ねられます。

対応先

  • EU AI Act: Art. 14
  • ISO/IEC 42001: A.9 Use of AI systems
  • NIST AI Risk Management Framework 1.0: GOVERN, MANAGE
  • OWASP Top 10 for LLM Applications: LLM09 Misinformation

テスト方法

エスカレーションを強制的に発生させます。指定された時間内に指名された担当者に届き、引き継ぎの際、状況を再確認することなく対処するために必要なコンテキストが伝達されることを確認します。

前提条件

エージェントがブロックされていることやポリシー違反であることを認識でき、人がそのブロックを解除できることを前提としています。

廃止条件

予測された障害ではなく、実際に発生した障害で測定した結果、エスカレーションパスがある場合とない場合で回復率が同等になったときに廃止します。

改善すべきメトリクスrecovhir

エビデンス

ACM-10

すべての決定とツール呼び出しの相関トレース

フィードバック確定的能力を理由としない

各実行は、入力、モデルとバージョン、引数と結果を伴うツール呼び出し、および最終アクションという、不変で相関のある記録を生成します。何が起こったかを再構築するのに十分であり、ログ自体が情報漏洩の原因になるようなものは含まれません。

このクアドラントである理由: 事後の純粋な測定です。記録対象の実行には何も変更を加えず、ルールに従って記録します。

対応先

  • EU AI Act: Art. 12, Art. 19, Art. 72
  • ISO/IEC 42001: Clause 9 Performance evaluation, A.6 AI system life cycle
  • NIST AI Risk Management Framework 1.0: MEASURE, MANAGE
  • OWASP Top 10 for LLM Applications: LLM02 Sensitive Information Disclosure
  • MITRE ATLAS: Discovery, Collection

テスト方法

過去の実行をランダムに選択し、ログのみから最初から最後まで再構築します。その後、ログに不要な機密情報や生の個人データが含まれていないことを確認します。

前提条件

その場にいなかった誰かが、後で何かを再構築する必要が生じることを前提としています。

廃止条件

機能面を理由に廃止することはありません。これは他のすべての測定値の算出元となるコントロールです。これを取り除くと、他の何かを取り除くことが適切であったかどうかを知る手段が失われます。

改善すべきメトリクスrecon

ACM-11

変更をゲートする評価スイート

フィードバック推論的能力を理由としない

変更のたびに厳選されたケースのセットが実行され、デグレード（退行）が発生した場合はリリースがブロックされます。これがないと、「動いているようだ」ということだけが品質の根拠になり、修正と単なる変更を区別するものがなくなります。

このクアドラントである理由: システムがすでに生成した出力を測定します。エージェントの出力におけるデグレード（退行）の定義は判断に委ねられます。スイートは、誰かが選択したケースをカバーします。

対応先

  • EU AI Act: Art. 9, Art. 15, Art. 17
  • ISO/IEC 42001: A.6 AI system life cycle, Clause 9 Performance evaluation
  • NIST AI Risk Management Framework 1.0: MEASURE
  • OWASP Top 10 for LLM Applications: LLM09 Misinformation

テスト方法

既知のデグレード（退行）を混入させます。スイートがそれを検出し、変更が出荷されないことを確認します。失敗したところを見たことがないスイートは、検証されたことがないスイートと同じです。

前提条件

変更によって誰も予測しない形で動作がデグレード（退行）すること、そして厳選されたセットの方が主観的な判断よりも多くのデグレードを検出できることを前提としています。

廃止条件

カテゴリとして廃止することはありません。個々のケースは絶えず廃止されます。2年間どの変更でも失敗しなかったケースは過去を測定しているにすぎず、それを維持し続けることは、スイートの改善につながらないままコストだけを増大させる原因になります。

改善すべきメトリクスcatchdband

ライフサイクルと入力

ACM-12

信頼できないコンテンツの隔離とマーク

フィードフォワード確定的数値によって終了する

取得したドキュメント、ツールの実行結果、およびサードパーティの出力はデータとして区切られ、指示チャネルにマージされることはありません。モデルはこれらを確実に区別できないため、ハーネスが区別する必要があります。

このクアドラントである理由: 区切り処理は、モデルが読み取る前の入力段階で行われ、中身を問わずすべてのドキュメントに適用されます。

対応先

  • EU AI Act: Art. 15
  • ISO/IEC 42001: A.6 AI system life cycle, A.7 Data for AI systems
  • NIST AI Risk Management Framework 1.0: MAP, MANAGE
  • OWASP Top 10 for LLM Applications: LLM01 Prompt Injection
  • MITRE ATLAS: Initial Access, AI Attack Staging

テスト方法

エージェントが取得するドキュメント内に指示を仕込みます。エージェントがそれを読み取ることはあっても、実行してはならず、その試行が後から確認できる必要があります。

前提条件

モデルが自身のコンテキストウィンドウ内で、指示とデータを確実に区別できないことを前提としています。

廃止条件

このコントロールを削除しても、評価スイート内のインジェクションケースが成功しなくなったとき（憶測ではなく測定による確認）に廃止します。これは、分離がプロンプトの内部ではなく、プロンプトより下のレイヤーで強制されていることを意味します。

改善すべきメトリクスvyr

ACM-13

モデル出力を信頼できない入力として処理

フィードフォワード確定的能力を理由としない

モデルが出力したもののうち、レンダラー、シェル、クエリ、または他のシステムに到達するものはすべて、見知らぬ人からの入力とまったく同じようにエンコードおよび検証されます。

このクアドラントである理由: 処理のタイミングは保護対象のアクションに関連しています。エンコードは、シンク（出力先）がそれに対して何らかの処理を行う前に、シンクの入力に対して作用します。

対応先

  • EU AI Act: Art. 15, Art. 50
  • ISO/IEC 42001: A.8 Information for interested parties
  • NIST AI Risk Management Framework 1.0: MEASURE, MANAGE
  • OWASP Top 10 for LLM Applications: LLM05 Improper Output Handling, LLM07 System Prompt Leakage
  • MITRE ATLAS: Defense Evasion

テスト方法

存在する各下流シンク（出力先）に対して、モデルにペイロードを出力させます。それぞれが到達する前に、境界で無害化されることを確認します。

前提条件

下流のシンク（出力先）に到達するものをシンクが信頼していること、そしてモデルは誘導された通りのものを出力してしまうことを前提としています。

廃止条件

モデル側の理由で廃止することはありません。これは生成側ではなくシンク（出力先）の特性です。人間が文字列を入力した場合でも、同様のエンコードが必要になります。

改善すべきメトリクスvyr

ACM-14

メモリの整合性と有効期限

フィードバック推論的プラットフォームが吸収する

エージェントが永続メモリに書き込む内容は、属性が定義され、レビュー可能で、有効期限を設定できます。メモリこそが、一回限りの攻撃を、将来の無関係なタスクで再トリガーされる攻撃へと変える要因です。

このクアドラントである理由: すでに書き込まれた内容に対して機能しますが、保存された事実が誤りであると判断することは、いかなるルールも自動的には行ってくれない主観的な判断です。

対応先

  • EU AI Act: Art. 10, Art. 15
  • ISO/IEC 42001: A.7 Data for AI systems
  • NIST AI Risk Management Framework 1.0: MAP, MANAGE
  • OWASP Top 10 for LLM Applications: LLM04 Data and Model Poisoning, LLM08 Vector and Embedding Weaknesses
  • MITRE ATLAS: Persistence, AI Attack Staging

テスト方法

通常のインタラクションを通じて誤った事実を書き込みます。それがどこから来たのか、誰が削除できるのか、そしていつ自動的に期限切れになるのかを示します。

前提条件

書き込まれたメモリがタスク間で永続すること、そして一度書き込まれた誤った事実が何度も読み取られることを前提としています。

廃止条件

メモリシステムが独自に書き込みの属性を特定し、有効期限を設定するため、ハーネスが外部から整合性を強制する必要がなくなります。

改善すべきメトリクスvgap

ACM-15

モデル、プロンプト、およびサーバーのプロバナンス（来歴）

フィードフォワード確定的能力を理由としない

モデル、システムプロンプト、MCPサーバー、パッケージ、およびデータセットがピン留めされ、変更時にレビューされ、ソースまで追跡可能であること。ツールの説明を書き換えられる依存関係は、エージェントの動作も書き換えることができます。

このクアドラントである理由: 依存関係が使用される前にピン留めがチェックされ、変更されたツールの説明は主観ではなく差分（diff）として扱われます。

対応先

  • EU AI Act: Art. 10, Art. 11, Art. 25
  • ISO/IEC 42001: A.10 Third-party and customer relationships, A.6 AI system life cycle
  • NIST AI Risk Management Framework 1.0: GOVERN, MAP
  • OWASP Top 10 for LLM Applications: LLM03 Supply Chain, LLM04 Data and Model Poisoning
  • MITRE ATLAS: Resource Development, Initial Access

テスト方法

外部依存関係ごとに、ピン留めされたバージョンと最後の変更をレビューした担当者を特定します。上流でツールの説明を変更し、その変更が本番環境に到達する前に検出されることを確認します。

前提条件

依存関係が知らないうちに変化する可能性があり、その変化によってコードを変更することなく動作が変わる可能性があること。

廃止条件

機能的な理由で廃止されることはありません。これこそが決定論的帯域（determinism band）を意味あるものにする理由です。ピン留めがなければ、繰り返し実行してもベンダーのリリーススケジュールを測定しているに過ぎなくなります。

改善すべきメトリクスdband

ACM-18

維持およびテストされた脅威モデル

フィードバック推論的プラットフォームが吸収する

攻撃対象領域（アタックサーフェス）が書き出され、それぞれに制御策と所有者が割り当てられ、許容されたリスクは許容済みとして明記され、ツール、データソース、または自律性レベルが変更されるたびにドキュメントが再検討されること。

このクアドラントである理由: そのテストでは2つの日付を比較しますが、ドキュメントの内容は判断であり、すでに導入された変更に応じて改訂されます。

対応先

  • EU AI Act: Art. 9, Art. 72
  • ISO/IEC 42001: A.5 Assessing impacts of AI systems, Clause 10 Improvement
  • NIST AI Risk Management Framework 1.0: MAP, GOVERN
  • OWASP Top 10 for LLM Applications: LLM01 Prompt Injection, LLM06 Excessive Agency
  • MITRE ATLAS: Reconnaissance, AI Attack Staging

テスト方法

現在の脅威モデルと、ツールカタログの最終変更日を表示します。カタログの方がモデルよりも新しい場合、モデルは古くなっており、この制御策は不合格となります。

前提条件

ツール、データソース、または自律性レベルが変更されると攻撃対象領域も変化し、誰かに気づく責任を課さない限り、誰もそれに気づかないこと。

廃止条件

脅威モデルがツールカタログと自律性設定から自動生成されるため、それらから遅れることがなくなったとき。その時点で、この制御策は廃止されたのではなく、置き換えられたことになります。

改善すべきメトリクスcontain