Enrutamiento (Routing)
El enrutamiento clasifica una entrada y la dirige al manejador, prompt o modelo especializado más adecuado. Mejora la calidad al optimizar cada camino para su caso y controla el coste enviando peticiones fáciles a modelos baratos y las difíciles a modelos capaces.
Problema
Un solo prompt o modelo manejando cada tipo de entrada hace cada una peor, y usar un modelo caro para todo malgasta dinero en peticiones fáciles.
Cuándo usarlo
Usa el enrutamiento cuando las entradas caen en categorías distintas que se benefician de un manejo diferente —distintos prompts, herramientas, modelos o flujos— y las categorías se pueden clasificar de forma fiable.
Solución
Un clasificador ligero (una llamada al LLM o un modelo) etiqueta la entrada, y luego un enrutador la envía al manejador adecuado. Cada manejador está especializado y optimizado para su categoría.
El enrutamiento también permite escalonar coste-rendimiento: enruta consultas simples a un modelo rápido y barato y las complejas a un modelo de razonamiento más fuerte, pagando por capacidad solo cuando hace falta.
Componentes
Beneficios
- Cada camino se optimiza para su caso, elevando la calidad.
- Control de coste escalonando modelos según la dificultad.
- La separación de responsabilidades mantiene simple cada manejador.
Riesgos
- La mala clasificación envía entradas por el camino equivocado.
- El clasificador añade un paso y algo de latencia.
- La deriva de categorías en el tiempo degrada la precisión.
Cuándo no usarlo
- Cuando las entradas son homogéneas: basta un manejador.
- Cuando las categorías no se pueden clasificar de forma fiable.
- Cuando el paso de clasificación añadido no compensa la ganancia.
Tecnologías
Ejemplos
- Enrutar tickets de soporte a manejadores de facturación, técnico o ventas.
- Enviar preguntas simples a un modelo pequeño y las difíciles a uno de razonamiento.
- Dirigir distintos tipos de documento a extractores específicos por tipo.
KPIs
- Precisión de enrutado
- Proporción de entradas enviadas al manejador/modelo correcto; la métrica que define el valor del patrón.
- Ahorro vs. usar siempre el mejor modelo
- Dinero ahorrado al enrutar entradas fáciles a modelos más baratos en vez del mejor para todo.
- Coste de mal enrutado
- El daño posterior de rutas erróneas; un mal enrutado puede costar mucho más que el ahorro buscado.
- Sobrecoste de latencia del router
- Tiempo que la propia decisión de enrutado añade antes de empezar el trabajo real.
Modos de fallo observados
- Mala clasificación: el router envía una entrada al modelo o ruta equivocados, degradando la respuesta.
- Entradas ambiguas que no encajan bien en ninguna ruta y se fuerzan a una deficiente.
- El router se convierte en cuello de botella o punto único de fallo de cada petición.
- Deriva: la distribución de entradas cambia con el tiempo y las categorías del router quedan obsoletas.
Lecciones aprendidas
- Optimiza por el coste de un mal enrutado, no solo por la precisión: algunas rutas erróneas son mucho más caras que otras.
- Añade una ruta por defecto / de respaldo para entradas que no encajen bien en nada.
- Mantén el router barato y rápido; si cuesta tanto como el trabajo, pierde su sentido.
- Monitoriza la deriva de entradas y reajusta las rutas cuando cambie la distribución.
FAQs
- ¿Qué clasifica la entrada?
- Normalmente una llamada ligera al LLM o un modelo clasificador dedicado; para casos claros, reglas deterministas pueden enrutar sin modelo.
- ¿Cómo ahorra coste el enrutamiento?
- Escalonando: las peticiones fáciles van a modelos baratos y rápidos y solo las difíciles llegan a modelos de razonamiento caros, así pagas por capacidad solo cuando hace falta.
- ¿Y si el clasificador se equivoca?
- Provee una ruta por defecto sensata y monitoriza los errores de ruta; un manejador de respaldo y buena observabilidad limitan el impacto de la mala clasificación.