基盤モデルとは？
基盤モデル（Foundation Model）とは、広範なデータを用いて大規模に事前学習され、幅広いダウンストリームタスクに適応できる大規模なモデルのことです。大規模言語モデル（LLM）や大規模マルチモーダルモデルがその代表例です。2021年にスタンフォード大学で提唱されたこの用語は、タスクごとに専用のモデルを学習させるのではなく、共有された汎用的なベースを基盤として構築し、プロンプティング、検索、またはファインチューニングを通じて特化させるというパラダイムシフトを捉えています。
定義
基盤モデルとは、広範なデータで事前学習された大規模な汎用モデルであり、プロンプティング、検索、またはファインチューニングを介して、多くのダウンストリームタスクに適応可能なベースとして機能するものです。
主な要点
- 基盤モデルは、多くのタスクに適応される汎用的なベースです。
- LLMやマルチモーダルモデルがその代表例です。
- ほとんどがTransformerアーキテクチャに基づいて構築されています。
- データ、パラメータ、および計算資源の規模に応じて、能力が創発します。
- これらはプロンプティング、検索（RAG）、またはファインチューニングによって適応させます。ゼロから学習させることはほとんどありません。
コンテキスト
基盤モデルが登場する前は、チームはタスクごとに特化したモデルを学習させていました。基盤モデルのパラダイムはこれを覆します。1つの大規模なモデルを広範なデータで一度だけ事前学習させ、それをあらゆる場所で再利用します。この再利用性こそが、現在、一握りのモデルがほとんどのAI製品を支えている理由です。
また、能力とリスクも集中します。非常に多くのものが少数のベースの上に構築されているため、それらのバイアス、不具合、セキュリティ特性がダウンストリームに伝播します。これが、ガバナンスと評価が重要である理由の一部です。
アーキテクチャ
事前学習：数百万から数兆のパラメータを持つモデルが、通常は次のトークンの予測といった自己教師あり学習の目的を用いて、大規模なデータセットから一般的なパターンを学習します。Transformerのアテンション機構により、これがスケーラブルになります。
適応：同じベースが用途に合わせて特化されます。これには、ゼロショット/フューショットプロンプティング、最新またはプライベートな知識のための検索拡張生成（RAG）、あるいは振る舞いやドメインのためのファインチューニングが含まれます。エージェントは、ツールとハーネスでモデルをラップします。
コンポーネント
メリット
- 1つのベースを多くのタスクで再利用可能。
- 特別な調整なしで、すぐに強力な汎用能力を発揮。
- ゼロから学習させることなく、迅速に適応可能。
- テキスト、画像、音声などにまたがるマルチモーダルなバリアント。
リスク
- リスクの集中：欠陥がそれらを基盤とするすべてのものに伝播する。
- 事前学習のコストが高く、対応できる組織は限られている。
- 学習データに起因するバイアスや欠落を引き継ぐ。
- 検索（retrieval）を行わない限り、知識は学習時点の状態で固定される。
ツールとテクノロジー
例
- 組織全体で、要約、分類、下書き作成に単一のLLMを使用する。
- 再学習ではなく、検索（retrieval）を用いてベースモデルを特定のドメインに適応させる。
- フロンティアモデルにツールとメモリを組み合わせてエージェントを構築する。
FAQ
- 基盤モデルはLLMと同じものですか？
- LLMは言語に特化した最も一般的な基盤モデルの一種です。基盤モデルには、マルチモーダルモデルやその他の汎用モデルも含まれます。
- なぜ「基盤（foundation）」モデルと呼ばれるのですか？
- 単一のタスク向けに学習されたモデルではなく、多くのアプリケーションが構築される共通の土台（ベース）として機能するためです。
- 自分でモデルを学習させる必要はありますか？
- ほとんどの場合、その必要はありません。事前学習には極めて高いコストがかかります。価値のほぼすべては、プロンプティング、検索（retrieval）、またはファインチューニングを通じて、既存のベースモデルを適応させることから生まれます。
- エージェントと基盤モデルはどのような関係にありますか？
- エージェントは、基盤モデルを推論のコアとして使用し、それをツール、メモリ、および制御ループ（ハーネス）で包み込むことで、アクションを実行します。