Evaluator-Optimizer
Ein LLM generiert eine Antwort, während ein zweites LLM diese anhand von Kriterien bewertet und Feedback zurückgibt; der Generator überarbeitet die Antwort und die Schleife wiederholt sich, bis die Bewertung erfolgreich ist. Dies steigert die Qualität bei Aufgaben mit klaren Bewertungskriterien auf Kosten zusätzlicher Aufrufe.
Problem
Eine im ersten Durchlauf generierte Ausgabe erfüllt möglicherweise nicht alle Anforderungen, und es gibt keinen integrierten Mechanismus, um sie vor der Verwendung zu überprüfen und zu verbessern.
Wann zu verwenden
Verwenden Sie den Evaluator-Optimizer, wenn Sie klare Bewertungskriterien formulieren können und eine iterative Verfeinerung das Ergebnis messbar verbessert – beispielsweise bei der Übersetzungsqualität, bei Code, der Tests bestehen muss, oder beim Schreiben anhand eines Bewertungsbogens.
Lösung
Ein Generator erzeugt einen Kandidaten; ein Evaluator (ein separater LLM-Aufruf oder eine deterministische Prüfung) bewertet diesen anhand expliziter Kriterien und liefert umsetzbares Feedback. Der Generator überarbeitet den Entwurf, und der Zyklus wiederholt sich, bis die Kriterien erfüllt sind oder ein Budget erreicht ist.
Die Trennung von Generierung und Bewertung spiegelt wider, wie ein menschlicher Autor von einem Lektor profitiert: Der Kritiker findet Probleme, die der Autor übersieht, und explizite Kriterien sorgen dafür, dass die Schleife konvergiert.
Komponenten
Vorteile
- Höhere Qualität bei Aufgaben mit klaren Kriterien.
- Erfasst Fehler, die bei einem einzigen Durchlauf ausgeliefert würden.
- Feedback ist explizit und umsetzbar.
Risiken
- Zusätzliche Aufrufe erhöhen die Latenz und die Kosten.
- Ein schwacher Evaluator liefert irreführendes Feedback.
- Schleifen konvergieren möglicherweise nicht, wenn kein Budget festgelegt ist.
Wann nicht zu verwenden
- Wenn Kriterien nicht klar definiert werden können.
- Wenn ein einziger Durchlauf bereits gut genug ist.
- Wenn Latenz- oder Kostenbudgets sehr knapp bemessen sind.
Technologien
Beispiele
- Generieren von Code, Ausführen von Tests und Überarbeiten, bis diese bestanden werden.
- Entwerfen einer Übersetzung und Verfeinern im Abgleich mit der Quelle.
- Schreiben anhand eines Bewertungsbogens, wobei ein Kritiker jedes Kriterium durchsetzt.
KPIs
- Akzeptanzrate
- Anteil der Kandidatenausgaben, die der Evaluator im ersten Durchlauf akzeptiert – ein zu hoher Wert bedeutet, dass die Messlatte zu niedrig liegt, ein zu niedriger Wert bedeutet, dass der Generator oder der Bewertungsbogen fehlerhaft ist.
- Iterationen bis zur Akzeptanz
- Durchschnittliche evaluate→revise-Schleifen vor der Akzeptanz; steigende Zahlen weisen auf einen schwachen Generator oder vage Kriterien hin.
- Kosten und Latenz pro akzeptierter Ausgabe
- Gesamtzahl der Token und reale Laufzeit über alle Schleifeniterationen hinweg, nicht nur für den finalen Aufruf – die Schleife multipliziert beides.
- Übereinstimmung zwischen Evaluator und Mensch
- Wie oft das Urteil des Evaluators mit dem eines menschlichen Prüfers bei einer Stichprobe übereinstimmt; die Schleife ist nur so gut wie der Evaluator.
Beobachtete Fehlermuster
- Reward Hacking: Der Generator lernt, die Formulierung des Evaluators zu bedienen, anstatt das eigentliche Ziel zu erreichen.
- Schwacher oder falsch kalibrierter Evaluator: Er akzeptiert schlechte Ausgaben oder lehnt gute ab, sodass die Schleife Kosten verursacht, ohne die Qualität zu steigern.
- Unendliche oder oszillierende Schleifen, wenn kein Kandidat jemals die Hürde nimmt – ohne eine Iterationsbegrenzung sind die Kosten unbegrenzt.
- Kriteriendrift: Vage oder sich ändernde Bewertungsrichtlinien machen die Abnahme nicht-deterministisch und schwer überprüfbar.
Lessons Learned
- Begrenzen Sie die Iterationen und definieren Sie einen Fallback (das bisher beste Ergebnis zurückgeben oder eskalieren), damit die Schleife immer beendet wird.
- Machen Sie die Abnahkriterien explizit und stabil; ein Evaluator ist nur so gut wie seine Bewertungsrichtlinie.
- Validieren Sie den Evaluator anhand menschlicher Urteile, bevor Sie ihm als Kontrollinstanz vertrauen.
- Nutzen Sie die Schleife nur dort, wo die Qualität die multiplizierten Kosten rechtfertigt – nicht für günstige Ausgaben mit geringer Tragweite.
FAQs
- Wie unterscheidet sich dies von Reflection?
- Reflection nutzt die Selbstkritik desselben Modells. Evaluator-Optimizer trennt die Rollen: Ein separater Evaluator beurteilt den Generator, was oft präziseres und unvoreingenommeneres Feedback liefert.
- Kann der Evaluator deterministisch sein?
- Ja. Für Code ist ein Test-Runner ein idealer Evaluator; für strukturierten Output eignet sich eine Schema-Prüfung. Nutzen Sie ein Modell als Richter für nuancierte Kriterien.
- Wie viele Iterationen?
- Legen Sie ein Budget fest (z. B. 2–3) und stoppen Sie, sobald die Kriterien erfüllt sind. Unbegrenzte Schleifen verursachen unnötige Kosten und konvergieren möglicherweise nicht.