プロンプト型から適応型まで、7つのレベルがあります。形容詞で説明されたレベルでは誰も位置づけられないため、最下層より上のすべてのレベルには、合否を判定できる基準が設けられています。これは累積的であり、そのレベルおよびそれ以下のすべての基準に合格した場合にのみ、そのレベルを保持しているとみなされます。
バージョン 1.0 · 更新日 2026-08-27 · 7 レベル · 18 基準
メニュー形式ではなく、累積的です。ハーネスがレベル4を保持するのは、評価スイートがあるときではなく、レベル1、2、3、4のすべてに合格したときです。このルールがなければ、誰もがすでに満たしている段階だけを選択してしまい、モデルによる位置づけが機能しなくなります。
すべての基準は、結果を伴うアクションです。実行して回答を得られないものは、ここには含まれません。表現がコントロールマトリックスのテストと意図的に同じ形式になっているのは、それらが本質的に同じ種類のものだからです。
また、各レベルには、そこで立ち止まった場合に何が壊れたままになるかも示されています。この後半部分こそが誠実な内容です。レベルは美徳ではなく、誰かが意図的に行ったトレードオフなのです。
これは自己評価であり、最も弱い評価形式です。このモデルは基準について議論できるように公開されており、その背後にある主張には、どのような場合にその順序付けを覆す条件が示されています。
cumulativetheoreticallow
根拠となる主張: HE-CLAIM-006 — get_claim を使用して MCP 経由で取得可能。
人間がすべての実行を主導します。モデルは手動で呼び出され、プロンプトはチャットウィンドウや誰かのメモの中に存在し、実行に関する情報は何も残りません。
最下層。独自の基準はありません。レベル1を満たせない場合、ハーネスはこの状態になります。
ここで停止した場合に破損したままになるもの
再現性が一切ないため、改善も不可能です。2人の人間が同じことを要求しても、異なる2つのシステムが構築され、どちらもなぜ自分のシステムが機能しているのかを説明できません。
呼び出しがコード化され、プロンプトはバージョン管理された成果物となります。実行は、誰かの記憶からではなく、リポジトリから再現できます。
基準
ここで停止した場合に破損したままになるもの
エージェントはまだ何も実行できないため、そのコストは役に立たないという事実によって制限されます。ここで立ち止まるのは妥当な選択肢ですが、手元にあるものをエージェントと呼ぶのは妥当ではありません。
エージェントは、宣言されたツールサーフェスを介して実際のシステムに作用します。すべてのツールがリスト化され、スコープが定義され、所有者が割り当てられ、不適切な場所を指している場合はサーバー側で拒否されます。
基準
ここで停止した場合に破損したままになるもの
エージェントが被害をもたらす可能性が生じ、その規模を制限するものはまだありません。これ以降のすべてのインシデントは、重要なシステムにおけるインシデントとなります。
ハーネスは、モデルに遵守を求めることなく制限を強制します。送信（egress）はデフォルト拒否、消費はホストによって上限が設定され、信頼できないコンテンツは命令ではなくデータとして扱われます。
基準
ここで停止した場合に破損したままになるもの
影響範囲（ブラストライディアス）は制限されますが、品質は制限されません。システムは安全に失敗しますが、それが機能しているかどうかは誰にもわかりません。
変更は、誰かが失敗するのを確認したテストスイートによってゲート（制限）されます。デグレード（リグレッション）はリリースをブロックし、再現性は数値化され、エージェントの主張と検証者が発見した事実とのギャップが測定されます。
基準
既知のデグレードを導入します。テストスイートがそれを検出し、変更が出荷されないことを確認します。一度も失敗したことのないテストスイートの検出率は、完璧なのではなく、不明であるとみなされます。
何も変更せずに評価セットを5回実行し、何件のケースが毎回同じ判定に達したかを特定します。その数値が存在し、誰かがそれを把握している必要があります。
一連の実行においてエージェントが主張した内容と、独立した検証者が発見した内容を比較します。その差異は数値化され、ゼロであるとは仮定されません。
ここで停止した場合に破損したままになるもの
品質は測定されますが、説明責任は測定されません。問題が発生した際、それがデグレードしたことは証明できても、誰がそれを通過させたのかは証明できません。
権限、エビデンス、およびエスカレーションに所有者が存在します。その場にいなかった人でも実行を再構築でき、リスク基準に基づいてゲートが設置され、脅威モデルはツールカタログよりも新しく維持されています。
基準
過去の実行をランダムに選択し、元のオペレーターが立ち会うことなく、ログのみから最初から最後まで再構築します。その後、ログに不要な機密情報が含まれていないことを確認します。
ゲートが設定されたアクションと、それを設定したリスク基準をリストアップします。強制的にエスカレーションを発生させ、規定の時間内に、対応に必要なコンテキストを伴って指名された担当者に届くことを確認します。
現在の脅威モデルと、ツールカタログの最終変更日を表示します。カタログの方が新しい場合、この基準は不合格となり、そのレベルは維持されません。
読み取り元ACM-18
ここで停止した場合に破損したままになるもの
すべてが整っていますが、期限切れになるものがありません。ハーネスは、モデルが昨年必要としていた補償措置を、来年になっても強制し続けることになります。
ハーネスはエビデンスに基づいて変化し、自身を削除することもあります。コンポーネントは、検証対象となったモデルと、自身を廃止するための条件を保持しており、実際に何かが廃止された実績があります。
基準
過去2四半期に削除されたコントロール、プロンプトルール、またはコンテキストブロックを挙げ、その削除を正当化する測定結果を示してください。「それなしで試してみたが問題なさそうだった」というのは測定ではありません。
測定方法cvo
現在も導入されているコンポーネントについて、それが検証されたモデルと、それが廃止される条件を述べてください。これらは記憶に頼るのではなく、両方とも文書化されている必要があります。
読み取り元ACM-15
2つのモデル世代にわたり、同じタスクセットに対して正しく検証された成果あたりのコストを示してください。それぞれの世代には、その世代が実際に必要としたハーネスが適用されているものとします。
ここで停止した場合に破損したままになるもの
ここにあるものは何一つ安定していませんが、それこそが本質です。根拠に基づいて変化するハーネスには、その根拠が優れていることが求められます。また、スコアカード上のすべての指標は、測定対象となる人物によってハックされる可能性があります。