1つの数式と11のメトリクスにより、形容詞以外の基準で2つのハーネスを比較できます。主要な単位は「正しく検証された成果あたりのコスト」であり、「実行成功数」ではありません。実行成功数は自己申告にすぎず、壊れたハーネスであっても唯一得意とする出力だからです。
バージョン 1.0 · 更新日 2026-08-27 · 11 メトリクス
CVO = total cost of the run set / outcomes that passed independent verification
HSC-01 · 正しく検証された成果物あたりのコスト
これは提案であり、測定された結果ではありません。ここにあるものは実際のシステムに対して実行されておらず、しきい値も調整されていません。また、11のメトリクスは、どれが何を予測するかを突き止めた結果ではなく、議論によって選ばれたものです。ファイル自体のエビデンスブロックにも、理論的、低確信度と明記されています。
本スコアカードは、議論の対象となることを目的として公開されています。その根拠となる主張には、何をもって偽とするかが示されており、測定結果がそれに矛盾した時点で、測定結果が優先されます。
theoreticallow
根拠となる主張： HE-CLAIM-005 — MCP経由で get_claim により取得可能。
実行セットに起因するすべてのコスト（推論、ツール、インフラ、および承認、修正、エスカレーションに費やされた人の時間）を、独立したチェックに合格した成果物の数で割った値。
測定方法
実行前にタスクセットと検証器を確定させます。失敗した試行を含め、セット全体のコストを合算します。完了した実行数ではなく、検証器に合格した成果物数で割ります。
偽装方法
成果物とみなす範囲を狭めるか、エージェント自身の報告を検証結果として代用します。どちらも分子のコストを下げるのではなく、分母の誠実さを損なう行為です。
読み取り元ACM-11
試行されたタスクのうち、独立した検証に合格する成果物を生成した割合。
測定方法
分母に試行回数、分子に検証済み成果物数を置きます。タイムアウトによって放棄された試行や、エージェントが途中で諦めた実行も、すべて試行としてカウントします。
偽装方法
ハーネスがすでに対応可能なタスクのみを試行します。宣言されたタスクセットがない歩留まり率は、ハーネスの実力ではなく、タスクセットの難易度を示す数値にすぎません。
読み取り元ACM-11
自己申告による成功率から、独立して検証された成功率を引いた差分（パーセンテージポイント）。ハーネスが自身の成功を正しく認識できているかを測定します。
測定方法
各実行についてエージェントが主張した結果と検証器が検出した結果を記録し、その差を求めます。符号（プラス・マイナス）も報告してください。過小申告するハーネスは、過大申告するハーネスとは異なる問題を抱えており、決して問題が小さいわけではありません。
偽装方法
エージェントに自己申告させるのをやめます。ギャップは消失しますが、同時にハーネスが成功と失敗を区別できていないことを示す唯一のシグナルも失われます。
すべての試行におけるモデルのトークン数（入力および出力）を、検証済み成果物数で割った値。ベンダーが価格表を変更しても変動しないコスト指標です。
測定方法
再試行や放棄された試行を含め、実行セット全体のトークン数をカウントします。モデルとそのバージョンも併記してください。これらがないと、数値を比較する意味がありません。
偽装方法
処理をモデルから、カウント対象外のツールや長時間の人的レビューへと移行します。トークン数は減少しますが、実際のコストは下がりません。
読み取り元ACM-07
検証済み成果物あたりの承認、エスカレーション、および手動修正の回数。人がプロセスに関与しているか（Human-in-the-loop）ではなく、プロセスが人に依存する頻度を測定します。
測定方法
成果物が確定するまでに、人の行動を必要としたすべてのイベントをカウントします。形骸化した承認（ラバースタンプ）もカウントに含めます。測定対象は、人にかかる負荷であり、その注意力の質ではありません。
偽装方法
ゲート（承認プロセス）を撤廃します。介入率はゼロに低下しますが、ハーネス自体は何も改善されていません。これが、この指標を単独ではなく、常に検証ギャップと併せて読み解くべき理由です。
タスクが受け入れられてから、その成果物が検証に合格するまでの実時間（ウォールクロック時間）。人の手によるプロセスの前での待ち時間も含みます。
測定方法
中央値と95パーセンタイル値を報告してください。これらがない報告は無意味です。平均値は、スタックした実行の長いテール（外れ値）を覆い隠してしまうからです。
偽装方法
検証の合格時点ではなく、エージェントの完了時点までを測定します。実際には、人間のレビュー担当者の手前にあるキューで多くの時間が費やされています。
読み取り元ACM-07
ハーネスを変更せずに同一の入力を繰り返し実行した際に、評価セットのうち、一貫して同じ検証判定に達した割合。
測定方法
セット全体を少なくとも5回実行し、N数を宣言します。平均値が良い状態ではなく、すべての試行で全く同じ判定に達した場合のみ、そのケースはバンド内にあるとみなされます。
偽装方法
1回だけ実行してそのスコアを報告します。1回限りの実行結果は、この指標が示すべき真の回答を覆い隠してしまいます。
読み取り元ACM-11
ツールエラー、拒絶、タイムアウト、計画の却下などの失敗に直面した実行のうち、最終的に検証済み成果物に到達した割合。
測定方法
失敗がトレース上で確認できる必要があります。そのため、関連する実行トレースがなければ算出できません。一度も失敗しなかったケースは「回復」ではないため、回復としてカウントしてはなりません。
偽装方法
失敗から回復させるのではなく、失敗を隠蔽します。ツールエラーを握りつぶす再試行ループは、この回復率を上げると同時に、検証ギャップも拡大させます。
読み取り元ACM-10
ハーネスの書き込み可能、不可逆、または規制対象となるアクションのうち、フィードフォワードかつ決定論的な制御（コントロール）の配下に置かれている割合。
測定方法
ツールカタログからアクションをリストアップし、それぞれを阻止する制御を特定し、Agentic Control Matrixからその制御の2つの軸を読み取ります。主観的な判断によって決定されるゲートはここではカウントされません（それらは人的介入回数でカウントされます）。
偽装方法
アクションを「可逆的」として再分類します。比率は上昇しますが、影響範囲（ブラストライジアス）は変わりません。
過去の実行のランダムサンプルにおいて、ログのみからエンドツーエンドで再構成（インプット、モデル、ツール呼び出し、成果物）できる割合。
測定方法
誰も意図的に選んでいない実行をサンプリングし、開発チームに問い合わせることなく、また当時のオペレーターの立ち会いなしで再構成します。説明のために人を必要とする実行は不合格とみなします。
偽装方法
すでに問題がないと分かっている実行のみをサンプリングするか、機密情報を含めすべてをログに記録します。これは、ログに不要なデータが含まれていないかという観点と併せて評価されます。
読み取り元ACM-10
システムに意図的に埋め込まれた欠陥のうち、リリース前に評価スイートが検知できた割合。
測定方法
実際に懸念される種類の欠陥を1つずつ埋め込み、それぞれに対して評価スイートを実行します。一度も失敗したことがない評価スイートの検知率は「完璧」なのではなく、「不明」です。
偽装方法
評価スイートが作成される前提となった欠陥のみを埋め込みます。検知率は100%になりますが、作成者の記憶力以外は何も測定していません。
読み取り元ACM-11
これらがない数値は、他の数値と比較できません。HarnessBenchは、これら6つすべてを報告するか、何も報告しないかのどちらかです。