Routing
Routing klassifiziert eine Eingabe und leitet sie an den am besten geeigneten spezialisierten Handler, Prompt oder das passende Modell weiter. Es verbessert die Qualität, indem jeder Pfad für seinen spezifischen Fall optimiert werden kann, und kontrolliert die Kosten, indem einfache Anfragen an günstige Modelle und komplexe an leistungsfähigere Modelle gesendet werden.
Definition
Routing ist ein Pattern, das jede eingehende Anfrage klassifiziert und an den am besten geeigneten Handler oder das passende Modell weiterleitet, sodass einfache Eingaben kostengünstige Pfade nutzen und komplexe Eingaben leistungsfähigere Modelle beanspruchen.
Problem
Wenn ein einziger Prompt oder ein einziges Modell jede Art von Eingabe verarbeitet, führt dies zu schlechteren Ergebnissen bei den einzelnen Aufgaben. Zudem verschwendet der Einsatz eines teuren Modells für alles Geld bei einfachen Anfragen.
Wann zu verwenden
Nutzen Sie Routing, wenn Eingaben in eindeutige Kategorien fallen, die von einer unterschiedlichen Handhabung profitieren – verschiedene Prompts, Tools, Modelle oder Workflows – und sich diese Kategorien zuverlässig klassifizieren lassen.
Lösung
Ein leichtgewichtiger Klassifizierer (ein LLM-Aufruf oder ein Modell) kennzeichnet die Eingabe, woraufhin ein Router sie an den passenden nachgelagerten Handler sendet. Jeder Handler ist auf seine Kategorie spezialisiert und optimiert.
Routing ermöglicht zudem ein Preis-Leistungs-Tiering: Leiten Sie einfache Abfragen an ein schnelles, günstiges Modell und komplexe an ein stärkeres Reasoning-Modell weiter, sodass Sie nur dann für Leistung bezahlen, wenn sie tatsächlich benötigt wird.
Komponenten
Vorteile
- Jeder Pfad ist für seinen Fall optimiert, was die Qualität steigert.
- Kostenkontrolle durch Staffelung der Modelle nach Schwierigkeitsgrad.
- Die Trennung von Zuständigkeiten (Separation of Concerns) hält jeden Handler einfach.
Risiken
- Fehlklassifizierungen leiten Eingaben auf den falschen Pfad.
- Der Klassifizierer fügt einen zusätzlichen Schritt und Latenz hinzu.
- Kategoriendrift im Laufe der Zeit verschlechtert die Routing-Genauigkeit.
Wann nicht zu verwenden
- Wenn die Eingaben homogen sind – ein einziger Handler reicht aus.
- Wenn Kategorien nicht zuverlässig klassifiziert werden können.
- Wenn der zusätzliche Klassifizierungsschritt den Gewinn nicht wert ist.
Technologien
Beispiele
- Routing von Support-Tickets an Abrechnungs-, Technik- oder Vertriebs-Handler.
- Senden einfacher Fragen an ein kleines Modell und komplexer Fragen an ein Reasoning-Modell.
- Leiten verschiedener Dokumenttypen an typspezifische Extraktoren.
Praxisbelege
- Kontext
- Single-Operator, Local-First OpenClaw-Bereitstellung, beobachtet über 57 Tage (161 Sessions / 2.776 Turns), aggregiert aus den eigenen Trajektorien-Traces des Agenten.
- Szenario
- Eingehende Kanalnachrichten und autonome Aktivierungen werden über verschiedene Einstiegspunkte an einen Agenten geleitet, wobei Kanal-/Peer-/Rollenbindungen die Session auswählen.
- Technologie
- Binding + Route-Registry (resolveAgentRoute), Session-Keys pro Kanal und ein Cache für aufgelöste Routen.
- Last
- 3 Kanäle (Telegram, Web-Chat, WhatsApp) und 4 Trigger-Arten (User, Heartbeat, Cron, Memory).
- Ergebnisse
- Das Routing funktionierte über alle drei Kanäle und vier Trigger-Typen hinweg, ohne dass eine Fehlleitung als Fehler auftrat (98,8 % Session-Erfolgsquote insgesamt). Single-Operator, Local-First-Bereitstellung – eine funktionierende Referenz, kein Skalierungs-Benchmark.
KPIs
- Routing-Genauigkeit
- Anteil der Eingaben, die an den korrekten Handler/das korrekte Modell gesendet wurden; die entscheidende Metrik, die den Wert des Patterns definiert.
- Kosteneinsparungen im Vergleich zu „Immer das beste Modell“
- Eingespartes Geld durch das Routing einfacher Eingaben an günstigere Modelle, anstatt für alles das Spitzenmodell zu nutzen.
- Fehlrouting-Kosten
- Der nachgelagerte Schaden durch falsche Routen – ein Fehlrouting kann weitaus mehr kosten als die angestrebten Einsparungen.
- Latenz-Overhead des Routers
- Zeit, die die Routing-Entscheidung selbst beansprucht, bevor die eigentliche Arbeit beginnt.
Beobachtete Fehlermuster
- Fehlklassifizierung: Der Router sendet eine Eingabe an das falsche Modell oder den falschen Pfad, was die Antwortqualität verschlechtert.
- Mehrdeutige Eingaben, die in keine Route sauber hineinpassen und in eine ungeeignete Route gezwungen werden.
- Der Router wird zum Engpass (Bottleneck) oder Single Point of Failure für jede Anfrage.
- Drift: Die Verteilung der Eingaben verschiebt sich im Laufe der Zeit und die Kategorien des Routers veralten.
Lessons Learned
- Optimieren Sie für die Kosten einer Fehlleitung, nicht nur für die Routing-Genauigkeit – manche falschen Routen sind weitaus kostspieliger als andere.
- Fügen Sie eine Standard-/Fallback-Route für Eingaben hinzu, die auf nichts gut passen.
- Halten Sie den Router kostengünstig und schnell; wenn er so viel kostet wie die eigentliche Arbeit, verfehlt er seinen Zweck.
- Überwachen Sie den Input-Drift und passen Sie die Routen an, wenn sich die Verteilung ändert.
FAQs
- Was klassifiziert die Eingabe?
- In der Regel ein leichtgewichtiger LLM-Aufruf oder ein dediziertes Klassifikatormodell; bei eindeutigen Fällen können deterministische Regeln das Routing auch ohne Modell übernehmen.
- Wie spart Routing Kosten?
- Durch Tiering: Einfache Anfragen gehen an günstige, schnelle Modelle, und nur komplexe Anfragen erreichen teure Reasoning-Modelle. So zahlen Sie nur dann für Leistungsfähigkeit, wenn sie tatsächlich benötigt wird.
- Was passiert, wenn der Klassifikator falsch liegt?
- Bieten Sie eine sinnvolle Standardroute und überwachen Sie Fehlleitungen; ein Fallback-Handler und gute Observability begrenzen die Auswirkungen von Fehlklassifizierungen.