Que sont les modèles de fondation ?
Un modèle de fondation est un grand modèle préentraîné à grande échelle sur des données larges, qui peut être adapté à un large éventail de tâches en aval. Les grands modèles de langage (LLM) et les grands modèles multimodaux en sont les exemples canoniques. Le terme, inventé à Stanford en 2021, traduit un changement de paradigme : au lieu d'entraîner un modèle sur mesure par tâche, les organisations s'appuient sur une base partagée et généraliste, puis la spécialisent par le prompting, la récupération ou le fine-tuning.
Définition
Un modèle de fondation est un grand modèle généraliste préentraîné sur des données larges qui sert de base pouvant être adaptée — via le prompting, la récupération ou le fine-tuning — à de nombreuses tâches en aval.
Points clés
- Les modèles de fondation sont des bases générales adaptées à de nombreuses tâches.
- Les LLM et les modèles multimodaux en sont les principaux exemples.
- La plupart reposent sur l'architecture transformer.
- Les capacités émergent avec l'échelle des données, des paramètres et de la puissance de calcul.
- Vous les adaptez par prompting, récupération (RAG) ou fine-tuning — rarement en les entraînant à partir de zéro.
Contexte
Avant les modèles de fondation, les équipes entraînaient des modèles étroits pour chaque tâche. Le paradigme des modèles de fondation inverse cela : un grand modèle est préentraîné une fois sur des données larges, puis réutilisé partout. C'est cette réutilisation qui explique pourquoi une poignée de modèles sous-tendent aujourd'hui la plupart des produits d'IA.
Cela concentre également les capacités — et les risques. Comme une grande partie des systèmes repose sur quelques bases, leurs biais, défaillances et propriétés de sécurité se propagent en aval, ce qui explique en partie pourquoi la gouvernance et l'évaluation sont si importantes.
Architecture
Préentraînement : un modèle doté de millions à des milliers de milliards de paramètres apprend des motifs généraux à partir de jeux de données massifs, généralement avec des objectifs auto-supervisés comme la prédiction du token suivant. Le mécanisme d'attention du transformer rend ce processus évolutif.
Adaptation : la même base est spécialisée pour l'utilisation — prompting zero/few-shot, génération augmentée par récupération (RAG) pour des connaissances fraîches ou privées, ou fine-tuning pour le comportement et le domaine. Les agents enveloppent le modèle dans des outils et un harness.
Composants
Avantages
- Une base unique réutilisée pour de nombreuses tâches.
- Forte capacité générale prête à l'emploi.
- Adaptation rapide sans entraînement à partir de zéro.
- Les variantes multimodales couvrent le texte, l'image, l'audio et plus encore.
Risques
- Risque concentré : les failles se propagent à tout ce qui est construit sur ces bases.
- Coûteux à pré-entraîner ; peu d'organisations peuvent le faire.
- Héritent des biais et des lacunes des données d'entraînement.
- Les connaissances sont figées au moment de l'entraînement sans récupération.
Outils et technologies
Exemples
- Utiliser un seul LLM pour le résumé, la classification et la rédaction au sein d'une organisation.
- Adapter un modèle de base à un domaine spécifique grâce à la récupération plutôt qu'au réentraînement.
- Construire un agent sur un modèle de pointe avec des outils et de la mémoire.
FAQ
- Un modèle de fondation est-il la même chose qu'un LLM ?
- Un LLM est le type de modèle de fondation le plus courant, spécialisé dans le langage. Les modèles de fondation incluent également des modèles multimodaux et d'autres modèles à usage général.
- Pourquoi les appelle-t-on modèles de « fondation » ?
- Parce qu'ils servent de base commune sur laquelle de nombreuses applications sont construites, plutôt que d'être un modèle entraîné pour une tâche unique.
- Dois-je en entraîner un ?
- Presque jamais. Le pré-entraînement est extrêmement coûteux ; la quasi-totalité de la valeur provient de l'adaptation d'une base existante via le prompting, la récupération ou le fine-tuning.
- Quel est le lien entre les agents et les modèles de fondation ?
- Un agent utilise un modèle de fondation comme cœur de raisonnement, enveloppé d'outils, de mémoire et d'une boucle de contrôle — le harness — pour entreprendre des actions.