アジェンティックAI評価とは何ですか？
アジェンティックAI評価とは、単一の回答の品質だけでなく、エージェントが環境内でツールを使用するマルチステップのタスクをどれだけ適切に完了できるかを測定する手法です。モデルが静的な知識ベンチマークで飽和状態に達するにつれ、評価は「能力（モデルが何を知っているか）」の測定から「エージェンシー（システムが実際に何を達成できるか）」の測定へと移行しています。優れた評価（evals）は、ハーネスエンジニアリングを可能にするフィードバックループとなります。
定義
アジェンティック評価とは、環境内における現実的でマルチステップのタスクに対する、AIエージェントのエンドツーエンドのタスクパフォーマンス（成功率、信頼性、コスト、安全性）の測定です。
主な要点
- 回答の品質（能力）だけでなく、タスクの完了（エージェンシー）を評価する。
- アジェンティックなベンチマークは、ツール、環境、および長期的なタスク（ロングホライズン）をテストする。
- 静的なベンチマークは飽和しており、アジェンティックなベンチマークが新たなフロンティアである。
- 評価（evals）はハーネスを改善するためのフィードバックループである。
- 成功率、信頼性、コスト、レイテンシ、安全性を総合的に測定する。
コンテキスト
従来のベンチマークは、モデルに質問を投げかけてその回答をスコア化します。これは能力を測定しますが、システムが実際の業務を完了できるかどうかについてはほとんどわかりません。対照的に、アジェンティック評価は、エージェントをツールと目標が存在する環境に配置し、実際にそれを達成できるかどうかをスコア化します。
この移行が重要である理由は、本番環境における価値がタスクの完了から生まれるためです。優れた回答をしてもタスクを完了できないエージェントは役に立ちません。また、評価を行うことで、チームは経験則（逸話）に頼るのではなく、体系的にハーネスを改善できるようになります。
アーキテクチャ
アジェンティック評価（eval）では、タスク、ツールを備えた環境（実環境またはシミュレーション環境）、成功基準、およびメトリクスを定義します。エージェントを実行し、その軌跡（トラジェトリ）と結果を可能な限り自動的にスコア化し、微妙なケースについては人間がレビューします。
単一の成功率にとどまらず、成熟した評価では、複数回実行時の信頼性、コストとレイテンシの予算、安全性（エージェントが権限の範囲内にとどまり、有害なアクションを回避したか）を追跡します。オブザーバビリティから得られるトレースは、評価設計に直接フィードバックされます。
コンポーネント
メリット
- 実際に重要なこと、すなわち「タスクの完了」を測定できる。
- ユーザーに届く前にデグレード（退行）を検知できる。
- ハーネスの改善を測定可能なループに変換できる。
- 正確性だけでなく、信頼性、コスト、安全性を可視化できる。
リスク
- 現実的な環境やグレーダーを構築するのが難しい。
- 実際のパフォーマンスではなく、ベンチマークに過剰適合（オーバーフィッティング）してしまう。
- 飽和：時間の経過とともにベンチマークの識別力が失われる。
- 自動グレーディングでは微妙なニュアンスを見落とす可能性があり、人によるレビューはコストがかかる。
ツールとテクノロジー
例
- コーディングエージェントが作成したパッチによって、実際のテストスイートがパスするかどうかに基づいてスコア化する。
- サポートエージェントのエンドツーエンドのチケット解決率を測定する。
- 繰り返し実行におけるワークフローエージェントの信頼性を追跡する。
- 実践例：本番環境のトレースから、自律型エージェント（OpenClaw）を57日間連続で評価。161セッションで成功率98.8%（エラー2件）、2つのモデルバージョン間でモデルごとの信頼性が100%対95.7%を記録。これは、厳選されたベンチマークセットではなく、運用トレースから直接計算された信頼性の基準値（ベースライン）です。
FAQ
- 能力（capability）とエージェンシー（agency）の違いは何ですか？
- 能力とは、モデルが単体で知っていることや実行できることです。エージェンシーとは、システム全体が環境内で実際に達成できることです。アジェンティック評価は後者を測定します。
- なぜ静的なベンチマークだけでは不十分になったのですか？
- 最先端のモデルがそれらを飽和させてしまい、識別力が失われるためです。また、静的なベンチマークでは、ツールの使用、環境、長期的なタスク（ロングホライズン）がテストされませんが、これらこそが実際のエージェントのパフォーマンスが発揮される領域です。
- アジェンティックなベンチマークとは何ですか？
- 環境内でツールを使用するマルチステップのタスク（例：実際のソフトウェアの問題の解決など）を完了するエージェントの能力をスコア化するテストです。
- 評価（evals）はハーネスエンジニアリングとどのように関係していますか？
- 評価は、ハーネスエンジニアリングを可能にする測定ループです。ハーネスを変更し、その効果を測定し、タスクパフォーマンスを明らかに向上させるものを維持します。