O que são Modelos de Fundação (Foundation Models)?
Um modelo de fundação é um modelo grande pré-treinado em escala com dados amplos que pode ser adaptado a uma ampla variedade de tarefas posteriores. Os modelos de linguagem (LLMs) e os multimodais são os exemplos canônicos. O termo, cunhado em Stanford em 2021, captura uma mudança: em vez de treinar um modelo sob medida por tarefa, as organizações constroem sobre uma base geral compartilhada e depois a especializam via prompting, recuperação ou fine-tuning.
Definição
Um modelo de fundação é um modelo grande e de propósito geral, pré-treinado com dados amplos, que serve de base adaptável — via prompting, recuperação ou fine-tuning — a muitas tarefas posteriores.
Pontos-chave
- Os modelos de fundação são bases gerais adaptadas a muitas tarefas.
- Os LLMs e os modelos multimodais são os exemplos principais.
- A maioria é construída sobre a arquitetura transformer.
- As capacidades emergem com a escala de dados, parâmetros e computação.
- São adaptados por prompting, recuperação (RAG) ou fine-tuning; raramente treinando do zero.
Contexto
Antes dos modelos de fundação, as equipes treinavam modelos estreitos para cada tarefa. O paradigma de fundação inverte isso: um modelo grande é pré-treinado uma vez com dados amplos e reutilizado em todo lugar. Essa reutilização é a razão pela qual um punhado de modelos sustenta hoje a maioria dos produtos de IA.
Também concentra capacidade e risco. Como tanto se constrói sobre poucas bases, seus vieses, falhas e propriedades de segurança se propagam para baixo, parte do porquê governança e avaliação importam.
Arquitetura
Pré-treinamento: um modelo com milhões a trilhões de parâmetros aprende padrões gerais de conjuntos de dados massivos, normalmente com objetivos autossupervisionados como a previsão do próximo token. A atenção do transformer torna isso escalável.
Adaptação: a mesma base é especializada para uso — prompting zero/few-shot, RAG para conhecimento fresco ou privado, ou fine-tuning para comportamento e domínio. Os agentes envolvem o modelo em ferramentas e um harness.
Componentes
Benefícios
- Uma base reutilizada em muitas tarefas.
- Forte capacidade geral de fábrica.
- Adaptação rápida sem treinar do zero.
- As variantes multimodais abrangem texto, imagem, áudio e mais.
Riscos
- Risco concentrado: as falhas se propagam a tudo o que é construído sobre eles.
- Custoso de pré-treinar; poucas organizações conseguem.
- Herdam vieses e lacunas dos dados de treinamento.
- O conhecimento fica congelado no momento do treinamento sem recuperação.
Ferramentas e tecnologias
Exemplos
- Usar um LLM para resumir, classificar e redigir em toda uma organização.
- Adaptar um modelo base a um domínio com recuperação em vez de retreinar.
- Construir um agente sobre um modelo de fronteira mais ferramentas e memória.
FAQs
- Um modelo de fundação é o mesmo que um LLM?
- Um LLM é o tipo mais comum de modelo de fundação, especializado em linguagem. Os modelos de fundação também incluem multimodais e outros de propósito geral.
- Por que são chamados de 'fundação'?
- Porque servem de base compartilhada sobre a qual muitas aplicações são construídas, em vez de um modelo treinado para uma única tarefa.
- Preciso treinar um?
- Quase nunca. O pré-treinamento é extremamente custoso; quase todo o valor vem de adaptar uma base existente via prompting, recuperação ou fine-tuning.
- Como os agentes se relacionam com os modelos de fundação?
- Um agente usa um modelo de fundação como núcleo de raciocínio, envolvido em ferramentas, memória e um laço de controle — o harness — para tomar ações.