¿Qué son los Modelos Fundacionales (Foundation Models)?
Un modelo fundacional es un modelo grande preentrenado a escala con datos amplios que puede adaptarse a una gran variedad de tareas posteriores. Los modelos de lenguaje (LLM) y los multimodales son los ejemplos canónicos. El término, acuñado en Stanford en 2021, captura un cambio: en lugar de entrenar un modelo a medida por tarea, las organizaciones construyen sobre una base general compartida y luego la especializan mediante prompting, recuperación o fine-tuning.
Definición
Un modelo fundacional es un modelo grande y de propósito general, preentrenado con datos amplios, que sirve de base adaptable —vía prompting, recuperación o fine-tuning— a muchas tareas posteriores.
Puntos clave
- Los modelos fundacionales son bases generales adaptadas a muchas tareas.
- Los LLM y los modelos multimodales son los ejemplos principales.
- La mayoría se construyen sobre la arquitectura transformer.
- Las capacidades emergen con la escala de datos, parámetros y cómputo.
- Se adaptan por prompting, recuperación (RAG) o fine-tuning; rara vez entrenando desde cero.
Contexto
Antes de los modelos fundacionales, los equipos entrenaban modelos estrechos para cada tarea. El paradigma fundacional lo invierte: un modelo grande se preentrena una vez con datos amplios y se reutiliza en todas partes. Esa reutilización es la razón por la que un puñado de modelos sustenta hoy la mayoría de productos de IA.
También concentra capacidad y riesgo. Como tanto se construye sobre unas pocas bases, sus sesgos, fallos y propiedades de seguridad se propagan aguas abajo, parte de por qué importan la gobernanza y la evaluación.
Arquitectura
Preentrenamiento: un modelo con millones a billones de parámetros aprende patrones generales de conjuntos de datos masivos, normalmente con objetivos autosupervisados como la predicción del siguiente token. La atención del transformer lo hace escalable.
Adaptación: la misma base se especializa para su uso —prompting zero/few-shot, RAG para conocimiento fresco o privado, o fine-tuning para comportamiento y dominio. Los agentes envuelven el modelo en herramientas y un harness.
Componentes
Beneficios
- Una base reutilizada en muchas tareas.
- Fuerte capacidad general de fábrica.
- Adaptación rápida sin entrenar desde cero.
- Las variantes multimodales abarcan texto, imagen, audio y más.
Riesgos
- Riesgo concentrado: los fallos se propagan a todo lo construido sobre ellos.
- Costoso de preentrenar; pocas organizaciones pueden.
- Heredan sesgos y lagunas de los datos de entrenamiento.
- El conocimiento queda congelado en el momento del entrenamiento sin recuperación.
Herramientas y tecnologías
Ejemplos
- Usar un LLM para resumir, clasificar y redactar en toda una organización.
- Adaptar un modelo base a un dominio con recuperación en vez de reentrenar.
- Construir un agente sobre un modelo frontera más herramientas y memoria.
FAQs
- ¿Un modelo fundacional es lo mismo que un LLM?
- Un LLM es el tipo más común de modelo fundacional, especializado en lenguaje. Los modelos fundacionales también incluyen multimodales y otros de propósito general.
- ¿Por qué se llaman 'fundacionales'?
- Porque sirven de base compartida sobre la que se construyen muchas aplicaciones, en lugar de un modelo entrenado para una sola tarea.
- ¿Necesito entrenar uno?
- Casi nunca. El preentrenamiento es extremadamente costoso; casi todo el valor viene de adaptar una base existente vía prompting, recuperación o fine-tuning.
- ¿Cómo se relacionan los agentes con los modelos fundacionales?
- Un agente usa un modelo fundacional como núcleo de razonamiento, envuelto en herramientas, memoria y un bucle de control —el harness— para tomar acciones.