Mecanismo de toma de decisiones ultraveloz que clasifica la intención del usuario mediante embeddings para dirigir la consulta al modelo, agente o prompt óptimo.
Explicación y Contexto Conceptual
El Enrutamiento Semántico (Semantic Routing) es una técnica de optimización arquitectónica diseñada para erradicar el uso innecesario y costoso de LLMs gigantes para tareas de clasificación preliminar. Tradicionalmente, los desarrolladores enviaban la consulta del usuario a GPT-4 con un prompt largo que decía: 'Clasifica si este mensaje es de ventas, soporte técnico o una queja'.
Un Semantic Router (como la biblioteca open-source de Aurelio AI) realiza esta clasificación mediante vectores en menos de 5 milisegundos sin invocar ningún LLM. Define 'rutas' o espacios de intención con unos pocos ejemplos de referencia: si la consulta del usuario cae en la ruta 'Soporte', se dispara un modelo pequeño y económico; si cae en 'Venta Enterprise', se activa el agente más sofisticado; y si es una consulta trivial de horarios, responde directamente sin costo de inferencia.
Esto optimiza de forma radical la velocidad de respuesta percibida por el usuario y abate drásticamente el consumo computacional.
Ejemplo en la Práctica
Un sistema CRM enruta correos entrantes: solicitudes de presupuesto van a agentes comerciales y quejas de facturación se desvían al departamento de finanzas de forma instantánea.