Was ist Fine-tuning?
Fine-tuning setzt das Training eines vortrainierten Modells auf einem kleineren, zielgerichteten Datensatz fort, um dessen Verhalten, Stil oder Domänenwissen zu spezialisieren. Es ist weitaus günstiger als das Vortraining und ändert die Gewichte des Modells – im Gegensatz zu Prompting oder Retrieval, die das Modell unverändert lassen. Nutzen Sie es, um ein konsistentes Format, einen bestimmten Tonfall oder eine Fähigkeit zu etablieren; nutzen Sie stattdessen Retrieval, wenn Sie aktuelle oder private Fakten benötigen.
Definition
Fine-tuning ist der Prozess des weiteren Trainings eines vortrainierten Modells auf einem fokussierten Datensatz, um dessen Gewichte an ein bestimmtes Verhalten, einen Stil, ein Format oder eine Domäne anzupassen.
Wichtigste Erkenntnisse
- Fine-tuning aktualisiert die Modellgewichte; Prompting und RAG tun dies nicht.
- Bestens geeignet für konsistentes Verhalten, Stil oder Format – nicht für aktuelle Fakten.
- Parametereffiziente Methoden (LoRA) machen es kostengünstig und praktisch.
- RLHF ist eine Form des Fine-tunings, die auf menschlichen Präferenzen basiert.
- Nutzen Sie standardmäßig zuerst Prompting und Retrieval; führen Sie ein Fine-tuning durch, wenn diese an ihre Grenzen stoßen.
Kontext
Ein vortrainiertes Foundation Model ist ein Generalist. Fine-tuning schränkt es ein: Wenn dem Modell genügend Beispiele für das Zielverhalten gezeigt werden, verinnerlicht es dieses, sodass Sie es nicht mehr in jedem Prompt angeben müssen.
Es ist einer von drei Anpassungshebeln, neben Prompting und Retrieval. Die Kunst besteht darin, den richtigen Hebel zu wählen: Fine-tuning für das Verhalten des Modells, Retrieval für das, was es wissen soll.
Architektur
Vollständiges Fine-tuning aktualisiert alle Gewichte – leistungsstark, aber teuer. Parametereffizientes Fine-tuning (PEFT), insbesondere LoRA, trainiert kleine Adaptergewichte, während die Basis eingefroren bleibt, und bietet so den Großteil des Nutzens zu einem Bruchteil der Kosten.
Instruction Tuning und RLHF are spezialisierte Fine-tuning-Phasen, die ein rohes Basismodell in einen hilfreichen, ausgerichteten Assistenten verwandeln. Die Qualität des Datensatzes ist weitaus wichtiger als seine Größe.
Komponenten
Vorteile
- Verankert konsistentes Verhalten, Stil oder Format fest im Modell.
- Reduziert die Prompt-Länge und die Kosten pro Aufruf.
- Kann spezifische Fähigkeiten vermitteln, die einem Basismodell fehlen.
- PEFT macht es erschwinglich und schnell.
Risiken
- Fügt keine aktuellen oder privaten Fakten hinzu – nutzen Sie dafür Retrieval.
- Risiko von katastrophalem Vergessen oder Overfitting.
- Erfordert einen qualitativ hochwertigen, gut gelabelten Datensatz und ein Evaluierungsset.
- Bindet Sie an eine bestimmte Modellversion; Migrationskosten bei Upgrades.
Tools & Technologien
Beispiele
- Fine-tuning eines Modells, um immer ein striktes Unternehmens-JSON-Format auszugeben.
- Vermitteln einer konsistenten Markenstimme für generierte Texte.
- Anpassen eines Modells an die Terminologie einer spezialisierten Domäne.
FAQs
- Fine-tuning oder RAG?
- Nutzen Sie Fine-tuning, um das Verhalten des Modells zu ändern (Stil, Format, Fähigkeit); nutzen Sie Retrieval (RAG), um ihm aktuelles oder privates Wissen bereitzustellen. Sie ergänzen sich gegenseitig und stehen nicht in Konkurrenz.
- Ist Fine-tuning teuer?
- Vollständiges Fine-tuning kann teuer sein, aber parametereffiziente Methoden wie LoRA trainieren winzige Adapter und machen es für die meisten Anwendungsfälle kostengünstig und schnell.
- Was ist RLHF?
- Reinforcement Learning from Human Feedback (Bestärkendes Lernen aus menschlichem Feedback) ist eine Fine-tuning-Phase, die menschliche Präferenzbewertungen nutzt, um ein Modell hilfreicher, harmloser und ehrlicher zu machen.
- Wann sollte ich ein Fine-tuning durchführen?
- Sobald Prompting und Retrieval an ihre Grenzen stoßen. Wenn Sie das Problem mit einem besseren Prompt oder relevantem Kontext lösen können, tun Sie das zuerst – das ist kostengünstiger und flexibler.