OWASP LLMアプリケーションのトップ10

定義

「OWASP LLMアプリケーションのトップ10」は、大規模言語モデル（LLM）上に構築されたアプリケーションにおける最も重大な脆弱性クラスをコミュニティが維持管理しているリストです。OWASP GenAI Security Projectによって公開され、エコシステムの変化に応じて定期的に改訂されます。

スコープ

チャットインターフェース、検索システム、エージェント、およびそれらが呼び出すツールなど、大規模言語モデル上に構築されたあらゆるアプリケーションが対象です。これは自主的なものであり、認証可能な規格ではなく、意図的に記述的な性質を持っています。リスクを分類するものであり、管理策を規定したりコンプライアンスを付与したりするものではありません。

主な要件

• プロンプトインジェクションは初版からリストのトップに位置しており、根本的な解決策がなく、多層的な封じ込めのみが有効なクラスであり続けています。
• 2025年版では、プロンプトインジェクション、機密情報の漏洩、サプライチェーン、データおよびモデルのポイズニング、不適切な出力処理、過剰なエージェンシー、システムプロンプトの漏洩、ベクトルと埋め込みの脆弱性、誤情報、および無制限の消費をカバーしています。リストは定期的に改訂されるため、キャッシュされた情報を信頼するのではなく、最新版を確認してください。
• いくつかの項目は、実質的にエージェント特有のものです。過剰なエージェンシーや不適切な出力処理は、モデルがアクションを実行できるようになって初めて深刻化します。
• これは分類法（タクソノミー）であり、管理策のセットではありません。検出事項をLLM06にマッピングすることは、それがどのような問題であるかを示すものであり、何を構築すべきかを教えるものではありません。
• これはこの分野の共通言語です。セキュリティレビュー、ベンダーのアンケート、バグレポートのすべてがこれを参照しており、番号で把握しておく価値がある主な理由はここにあります。
• リストを網羅していること自体は、セキュリティポスチャ（セキュリティ態勢）ではありません。すべての項目についてアーキテクチャ内での管理策が必要であり、管理策のない項目は、文書化されているかどうかにかかわらず、受容されたリスクとなります。

コントロール

リストを自社のアーキテクチャにマッピングする

実際の入力、ツール、データストア、出力に対して、各項目を検証します。この演習はリストそのものよりも価値があります。なぜなら、適用されない項目や、リストに記載されていない領域が明らかになるからです。

項目ごとに所有者と管理策を割り当てる

適用可能な各クラスには、それを制限する特定のコンポーネントと、そのコンポーネントを維持管理する担当者が必要です。何にもマッピングされていない項目は、参照番号が付いた単なるギャップにすぎません。

プロンプトインジェクションは予防ではなく封じ込めとして扱う

LLM01には、モデルレイヤーでの信頼できる解決策がありません。重要な管理策は、最小権限のツール設定、送信制限、出力処理、および影響の大きいアクションに対する承認ゲートです。

エージェンシーを明示的に制限する

LLM06については、エージェントがどの認証情報を使用して、どのターゲットに対して何を実行できるかを文書化し、プロンプト内ではなくモデルの下位レイヤーでそれを強制します。

モデルの出力を信頼できない入力として処理する

LLM05については、モデルが出力し、レンダラー、シェル、クエリ、または他のシステムに到達するすべてのものに対して、見知らぬ人からの入力に適用するのと同様のエンコーディングと検証を行う必要があります。

消費を制限する

LLM10については、レート制限、クォータ、およびタイムアウトを設定することで、可用性とコストに対する攻撃を、ログに記録された拒否応答へと変換します。これは、請求書が届くまでセキュリティ問題のように見えないため、チームが最も見落としがちな項目です。

リストまたはシステムが変更されたときにマッピングを再実行する

リストは改訂され、ツールのカタログは増加します。一度だけ行われたマッピングは、もはや存在しないシステムに関する文書になってしまいます。

チェックリスト

• 01要約（これを含む）ではなく、最新版を読んでください。
• 02マッピングテーブル（項目 → 適用されるか？ → 管理策 → 所有者）を作成します。
• 03管理策のないすべての適用可能な項目について、理由と代替となる検知手段を添えて、受容されたリスクとして記録します。
• 04各管理策のテストを作成し、そのテストが失敗することを確認してから信頼します。
• 05ツールを使用する場合にのみ問題となる項目（過剰なエージェンシー、不適切な出力処理、サプライチェーン）を確認します。
• 06レート制限とクォータが存在し、正常なクライアントに対して正しいシグナルを返すことを確認します。
• 07ツール、データソース、または自律性のレベルが変更されるたびに、マッピングを再実行します。
• 08レビュー担当者やベンダーが同じクラスについて議論できるように、検出事項にはリストの番号を使用します。

一般的な落とし穴

• リストをコンプライアンスの目標として扱うこと。実際のアーキテクチャが検証されないまま、10個の見出しを網羅するだけに終わってしまう。
• モデルベンダーの安全性への取り組みがLLM01をカバーしていると仮定すること。それは試行を減らすだけであり、結果に対する責任は完全に自社にあります。
• キャッシュされた版にマッピングすること。リストは改訂されるため、古いマッピングでは現在のクラスをいつの間にかカバーできなくなります。
• 無制限の消費がセキュリティ問題ではなく運用の問題に見えるため、LLM10をスキップすること。
• クラスを命名することと、それを管理することを混同すること。強制力のない整然としたマッピングテーブルは、リスクの文書化にすぎず、リスクの軽減にはなりません。

例

• 顧客のメールを要約するエージェントは、LLM01（メール本文は信頼できない指示入力）、LLM02（要約に要求者が閲覧すべきでないデータが含まれる可能性がある）、およびLLM06（CRMツールが乗っ取りをアクションに変換する）にマッピングされます。これは1つの機能から生じる3つの項目であり、それぞれに異なる管理策が必要です。
• 社内Wikiを対象とするRAGシステムは、任意のページ編集者からの間接的なインジェクションを介してLLM01に、インデックスがポイズニングされる可能性がある場合はLLM04に、要求者の権限外のドキュメントを返す検索についてはLLM08にマッピングされます。
• 公開されているMCPエンドポイントは、LLM10に最も明確にマッピングされます。読み取り専用の公開データであるため、消費制限（正しいヘッダーを伴うレート制限）が実際に機能する項目となります。

FAQ

OWASP LLM Top 10に準拠することは可能ですか？

いいえ。これは啓発および分類のための文書であり、認証可能な規格ではありません。ISO 42001などの管理システムや、NIST AI RMFなどのフレームワークと組み合わせるのが自然であり、ガバナンスの義務は実際にそこに存在します。

モデルにツールを追加したときに、最も変化する項目はどれですか？

過剰なエージェンシーと不適切な出力処理です。ツールがない場合、これらは誤った回答を生成するだけですが、ツールがある場合はアクションを実行するため、深刻度は単なる当惑からインシデントへと移行します。

MITRE ATLASとはどのような関係がありますか？

これらは異なる疑問に答えるものです。OWASPはアプリケーションにおける脆弱性クラスを定義し、ATLASは攻撃者がAIシステムに対して使用する戦術と技術をカタログ化しています。一方は設計に対するチェックリストであり、他方は攻撃者のプレイブックのマップです。

参考文献

• OWASP — Top 10 for LLM Applications
• OWASP — LLM01: Prompt Injection
• MITRE ATLAS — Adversarial Threat Landscape for AI Systems
• NIST — AI Risk Management Framework (AI RMF 1.0)

関連するガバナンス