Routage
Le routage classifie une entrée et la dirige vers le gestionnaire, le prompt ou le modèle spécialisé le plus approprié. Il améliore la qualité en permettant d'optimiser chaque chemin pour son cas d'usage, et maîtrise les coûts en envoyant les requêtes simples vers des modèles économiques et les requêtes complexes vers des modèles performants.
Définition
Le routage est un modèle de conception (pattern) qui classifie chaque requête entrante et l'oriente vers le gestionnaire ou le modèle le plus approprié, de sorte que les entrées simples utilisent des chemins économiques et les entrées complexes des chemins performants.
Problème
Un prompt ou un modèle unique traitant tous les types d'entrées est moins performant sur chacun d'eux, et utiliser un modèle coûteux pour tout gaspille de l'argent sur les requêtes simples.
Quand l'utiliser
Utilisez le routage lorsque les entrées se répartissent en catégories distinctes qui bénéficient d'un traitement différent — prompts, outils, modèles ou workflows différents — et que ces catégories peuvent être classifiées de manière fiable.
Solution
Un classificateur léger (un appel LLM ou un modèle) étiquette l'entrée, puis un routeur l'envoie au gestionnaire en aval correspondant. Chaque gestionnaire est spécialisé et optimisé pour sa catégorie.
Le routage permet également une hiérarchisation coût-performance : orientez les requêtes simples vers un modèle rapide et économique, et les requêtes complexes vers un modèle de raisonnement plus puissant, afin de ne payer pour la performance que lorsque c'est nécessaire.
Composants
Avantages
- Chaque chemin est optimisé pour son cas d'usage, ce qui améliore la qualité.
- Contrôle des coûts en adaptant les modèles à la difficulté.
- La séparation des préoccupations permet de garder chaque gestionnaire simple.
Risques
- Une mauvaise classification envoie les entrées sur le mauvais chemin.
- Le classificateur ajoute une étape et de la latence.
- La dérive des catégories au fil du temps dégrade la précision du routage.
Quand ne pas l'utiliser
- Lorsque les entrées sont homogènes — un seul gestionnaire suffit.
- Lorsque les catégories ne peuvent pas être classifiées de manière fiable.
- Lorsque l'étape de classification ajoutée ne vaut pas le gain obtenu.
Technologies
Exemples
- Routage des tickets de support vers des gestionnaires de facturation, techniques ou commerciaux.
- Envoi de questions simples à un petit modèle et de questions complexes à un modèle de raisonnement.
- Orientation de différents types de documents vers des extracteurs spécifiques au type.
Preuves de production
- Contexte
- Déploiement OpenClaw mono-opérateur, local-first, observé sur 57 jours (161 sessions / 2 776 tours), agrégé à partir des traces de trajectoire de l'agent.
- Scénario
- Les messages des canaux entrants et les réveils autonomes sont routés vers un agent via des points d'entrée distincts, les liaisons canal/pair/rôle sélectionnant la session.
- Technologie
- Liaison + registre de routes (resolveAgentRoute), clés de session par canal et cache de routes résolues.
- Charge
- 3 canaux (Telegram, chat web, WhatsApp) et 4 types de déclencheurs (utilisateur, heartbeat, cron, mémoire).
- Résultats
- Le routage a fonctionné sur les trois canaux et les quatre types de déclencheurs, sans qu'aucun mauvais routage ne se traduise par un échec (98,8 % de réussite globale des sessions). Déploiement mono-opérateur local-first — une référence fonctionnelle, pas un benchmark d'échelle.
KPI
- Précision du routage
- Part des entrées envoyées au bon gestionnaire/modèle ; la métrique unique qui définit la valeur du modèle de conception.
- Économies de coûts par rapport au meilleur modèle systématique
- Argent économisé en routant les entrées simples vers des modèles moins chers au lieu d'utiliser le meilleur modèle pour tout.
- Coût d'un mauvais routage
- Les dommages en aval des mauvaises routes — un mauvais routage peut coûter bien plus cher que les économies recherchées.
- Surcoût de latence du routeur
- Temps que la décision de routage elle-même ajoute avant que le travail réel ne commence.
Modes de défaillance observés
- Mauvaise classification : le routeur envoie une entrée vers le mauvais modèle ou chemin, dégradant la réponse.
- Entrées ambiguës qui ne correspondent clairement à aucune route et se retrouvent forcées dans une route inadaptée.
- Le routeur devient un goulot d'étranglement ou un point de défaillance unique pour chaque requête.
- Dérive : la distribution des entrées évolue au fil du temps et les catégories du routeur deviennent obsolètes.
Leçons apprises
- Optimisez pour le coût d'une erreur d'aiguillage, pas seulement pour la précision du routage — certains mauvais aiguillages coûtent beaucoup plus cher que d'autres.
- Ajoutez une route par défaut / de secours pour les entrées qui ne correspondent bien à rien.
- Gardez le routeur économique et rapide ; s'il coûte aussi cher que le travail lui-même, cela va à l'encontre du but recherché.
- Surveillez la dérive des entrées et réajustez les routes à mesure que la distribution change.
FAQ
- Qu'est-ce qui classifie l'entrée ?
- Généralement un appel LLM léger ou un modèle de classification dédié ; pour les cas évidents, des règles déterministes peuvent effectuer le routage sans modèle.
- Comment le routage permet-il de réduire les coûts ?
- Par la hiérarchisation : les requêtes simples vont vers des modèles économiques et rapides, et seules les requêtes complexes atteignent les modèles de raisonnement coûteux, de sorte que vous ne payez pour la performance que lorsque c'est nécessaire.
- Que se passe-t-il si le classificateur se trompe ?
- Prévoyez une route par défaut cohérente et surveillez les erreurs d'aiguillage ; un gestionnaire de secours et une bonne observabilité limitent l'impact d'une mauvaise classification.