エージェント免疫系
特定のエージェントに信頼を集中させずに企業で AI エージェントを運用するためのリファレンスアーキテクチャ。アイデンティティ、最小権限、封じ込め、監督、復旧という五つの層は、いずれかのエージェントがいつか誤るか乗っ取られることを前提とし、その日を壊滅ではなく生存可能な出来事にする。防御の単位は個々の実行であり、群ではない。
主要な概念
- 侵害を前提とする。問うべきはエージェントが誤るかどうかではなく、誤った瞬間にどこまで届くかである。
- 実行ごとのアイデンティティ。各実行は自分専用の短命な資格情報を持ち、共有の運用アカウントは使わない。
- 予防より封じ込め。影響範囲は祈るものではなく設計するもので、乗っ取られた実行が及ぶのは一つのタスクであって全体ではない。
- 復旧は設計面である。追跡・取り消し・停止は事前に作るものであり、事故の最中に即席で用意するものではない。
定義
エージェント免疫系とは、実行ごとのアイデンティティ、タスクに限定した権限、実行と外向き通信の封じ込め、リスクに応じた人間の監督、追跡可能な復旧によって、単一の実行が到達・観測・破壊できる範囲を限定しながら、AI エージェントに企業システム上での実際の行動を許す階層型のランタイムアーキテクチャである。
アーキテクチャ
このアーキテクチャは通常の問いを反転させる。推論する系に対してどんなガードレールも確実には達成できない「どうすればエージェントに誤らせないか」ではなく、「誤ったその瞬間にどこまで届くか」を問う。各層は到達範囲の限界であり、層は互いに独立しているため、一つが破れても残りが開くことはない。
土台はアイデンティティである。各実行には、タスク・要求主体・宣言したツールに結び付いた短命な資格情報が発行される。エージェントはサービスアカウントを共有しない。問題が起きたとき、痕跡が名指すのは群ではなく一つの実行であり、失効の代償は全体のローテーションではなくトークン一つで済む。
権限はタスクに限定され、タスクとともに失効する。ツールブローカーは実行が事前に宣言した狭い能力の集合だけを与え——このチケットを読む、このレコードを書く——それ以外を拒む。したがって、もっと多くを試みるようモデルを説得したプロンプトインジェクションは、呼ぶ先を見つけられない。
封じ込めは、前の二層が破られうることを前提とする。実行は環境資格情報を持たないサンドボックスで行われ、外向き通信は許可リストを通るため持ち出しの送り先がなく、エージェントの生成物は境界で符号化され、その出力が次の系の命令になることを防ぐ。
監督は人が責任を負う場所であり、既定ではなくリスクに応じて置かれる。不可逆な行為や規制対象の行為は承認のために止まり、確信の低い結果は実行の全文脈を添えてエスカレーションされる。何にでもゲートを置けば自動化は死に、レビュー担当者は読まずに承認する習慣を身につける。
復旧が輪を閉じる。各実行はモデル・ツール・再試行をまたいで単一の相関 ID の下に追跡され、対象システムが許す限り行為には補償操作が対になって設計され、非常停止はプラットフォームを落とさずに特定クラスの実行だけを止める。
リクエストフロー
- 1. 要求：タスクが、要求主体と宣言済みのツール・データ範囲とともに到着する。
- 2. 発行：ブローカーがその宣言に紐づく、実行限定で短命なアイデンティティを鋳造する。
- 3. 受入：実行は環境資格情報を持たないサンドボックスで、外向き許可リストとともに開始される。
- 4. 行動：ツール呼び出しはすべて実行の範囲に照らして認可され、範囲外は拒否のうえ記録される。
- 5. ゲート：不可逆・規制対象の行為は、文脈を添えて人間の承認を待って停止する。
- 6. 出力：生成物は境界で符号化され、下流で命令として実行されないようにする。
- 7. 終了：アイデンティティが失効し、痕跡は相関 ID の下に封印され、補償操作は引き続き利用できる。
コンポーネント
リファレンスシナリオ
- コンテキスト
- チケット処理・財務・社内ナレッジにまたがって数十のエージェントを運用し、各エージェントが記録システムを読み書きできる、例示的な企業。
- シナリオ
- 検索工程が、顧客レコードを書き出すよう指示する注入文を含む文書を取り込む。モデルはそれに従うが、書き出しツールは実行が宣言した範囲の外にあり拒否される。試行は記録され、異常検知の規則が実行を停止し、相関 ID によって対応者は一度の照会で連鎖の全体を得る。
- テクノロジー
- 実行ごとの資格情報発行、範囲付きツールブローカー、サンドボックス実行、外向き許可リスト、境界符号化、リスク承認ゲート、相関トレース。
- 負荷
- 業務プロセスの前後で山を作る、継続的な裏方の自動化。稀で影響の大きい行為は呼び出し全体のごく一部であり、そこにリスクが集中する。
- 結果
- 測定値ではなく参照目標：乗っ取られた実行は宣言範囲に閉じ込められ、あらゆる拒否は特定の実行に帰属し、実行された行為は追跡でき、対象システムが許す場合は補償できる。
メリット
- 誤った、あるいは乗っ取られたエージェントの代償は一つのタスクであって、全体ではない。
- 事故は共有アカウントではなく一つの実行に帰属するため、対応は的を絞れ、失効は安く済む。
- プロンプトインジェクションはほとんど価値を失う。モデルを説得しても、元々持たない能力は与えられない。
- 監督の労力が本当に不可逆な行為に集中し、承認が意味を保ち続ける。
リスク
- 宣言された範囲が実際の必要から乖離し、チームが広げ続けた結果、最小権限が名ばかりになる。
- ゲートを置きすぎると、レビュー担当者は読まずに承認するようになり、ゲートがないより悪くなる。
- サンドボックスとブローカーは待ち時間と運用面を増やし、小規模な導入では割に合わないことがある。
- 外部への影響には補償できないものがある。送信済みのメールや支払済みの請求は元に戻らない。
KPI
- 固有かつ短命なアイデンティティを持つ実行の割合
- 荷重を支える統制。100 % に満たなければ、どこかの経路がまだ共有資格情報を使っている。
- 範囲外ツール試行の拒否件数
- 実行ごとに数える。増加は環境について語るものであり、必ずしも設計の失敗ではない。
- 実行あたりの影響範囲
- 完全に乗っ取られた単一の実行が到達しうるシステムとレコードの数。このアーキテクチャが縮めるために存在する数値。
- ゲート対象率と承認待ち時間
- どちらも重要。率が高すぎれば自動化が死に、待ち時間が長すぎればチームがゲートを切る。
- トレースの完全性
- 再試行やモデル切り替えを含め、単一の相関 ID で端から端まで再構成できる実行の割合。
- 失効までの時間
- 検知から実行の能力が消えるまで。短命な資格情報なら、ローテーションではなく有効期限に近いはずである。
コストとスケーリング
- アイデンティティとツールのブローカーは全呼び出しのホットパスにあり、上限を決める。状態を持たず水平に伸びるが、その待ち時間はツール利用のたびに支払われる。
- 短い実行ではサンドボックスの起動が費用を支配する。温めたサンドボックスをプールすると分離の深さと待ち時間を交換することになり、明示的な判断であるべきだ。
- 人間の承認は線形には伸びず、真の制約になる。群が育つにつれてゲート対象は小さく保たねばならず、さもなければ待ち行列そのものが障害になる。
- トレースの保管量は実行数×ツール呼び出し数で増える。サンプリングは可観測性には妥当だが監査には使えないため、保持方針は二つに分けるべきである。
観察された障害モード
- 共有のサービス資格情報がスタックのどこかに生き残り、実行ごとのアイデンティティを静かに無効化する。
- 許可リストが、自らデータを転送する許可済みの宛先を経由して回避される。
- 再試行やモデル切り替えでトレースが途切れ、事故の連鎖を再構成できなくなる。
- 承認の待ち行列が詰まり、それを捌くためにゲートが「一時的に」無効化される。
- ツールの出力が次工程で信頼できる入力として扱われ、封じ込めが漏れのある単一境界に縮む。
得られた教訓
- 能力より先に影響範囲を設計する。エージェントが何をしてよいかより、どこまで届いてよいかの方が難しい問いであり、先に答えると残りが扱いやすくなる。
- 実行ごとのアイデンティティは荷重を支える層である。それがなければ、他のあらゆる統制は名指せない主体に対して適用される。
- 何にでも作動するゲートは、何にも作動しないゲートである。人間の承認は不可逆なものに限る。
- モデルは説得されるものと想定し、説得が認可にならないように設計する。
- 復旧は系が平静なうちに作る。事故の最中に補償操作を設計する者はいない。
テクノロジー
例
- 取得した文書に注入された指示がデータ書き出しを要求するが、そのツールは実行範囲の外にあり、呼び出しは拒否され記録される。
- 財務エージェントが支払いを起案し、人が実行前に承認する。承認には実行トレースが添付される。
- 挙動の悪いエージェント種別が非常停止で止められ、残りの群は動き続ける。
- 三つのモデル、九回のツール呼び出し、二回の再試行にまたがる単一の相関 ID から事故が再構成される。
FAQ
- なぜファイアウォールではなく免疫系なのか。
- ファイアウォールは内と外の境界を前提とする。エージェントを運用する企業にその境界はない。エージェントはすでに内側にいて、本物の資格情報で動いている。免疫系は侵入を常態とみなし、境界線ではなく認識・封じ込め・修復に投資する。
- 手順が増えただけの最小権限では。
- 最小権限は五つの層の一つで、最もよく知られたものだ。このアーキテクチャの主張は、それだけでは足りないという点にある。実行ごとのアイデンティティがなければ権限を主体に絞れず、封じ込めと復旧がなければ、正しく絞られていてもなお誤った実行には限界も引き返しもない。
- これでプロンプトインジェクションは止まるのか。
- 止まらない。そして、どれかの統制がそれを止めると考えることこそが誤りである。これが行うのは、インジェクションを安く生き延びられるようにすることだ。行為を試みるようモデルを説得することと、その行為が認可されていることは同じではなく、拒否された試行自体が信号になる。
- 最小限に成立する版は。
- 実行ごとのアイデンティティと、タスクに限定したツールアクセス。この二つが帰属と限界を与える。封じ込め、ゲート、補償操作は、行為が不可逆になるほど重みを増す。
- ガバナンスの枠組みとの関係は。
- その実行時における表現である。NIST AI RMF と ISO 42001 は責任と追跡可能性を求め、OWASP LLM Top 10 と MITRE ATLAS は攻撃を記述する。このアーキテクチャは、それらの義務がアイデンティティ・範囲・サンドボックス・トレースになる場所だ。