Consultas y preguntas ficticias generadas de forma automatizada por un modelo de lenguaje para poner a prueba y evaluar el rendimiento de motores de búsqueda y sistemas RAG.
Explicación y Contexto Conceptual
Las Consultas Sintéticas (Synthetic Search Queries) son una herramienta indispensable de evaluación y auditoría en la ciencia de datos aplicada a la búsqueda y el SEO avanzado. Para optimizar un buscador de e-commerce o auditar si el catálogo de una empresa está bien indexado para AEO, los equipos a menudo carecen de volúmenes suficientes de búsquedas humanas reales en productos nuevos.
Mediante frameworks de evaluación (como Ragas), se instruye a un LLM para que analice los documentos y fichas de producto de la empresa y genere automáticamente miles de consultas sintéticas complejas: preguntas con errores gramaticales, preguntas ambiguas, consultas de comparación ('¿Diferencia entre Producto A y B?') o búsquedas negativas.
Estas consultas se disparan en masa contra el motor de búsqueda para medir métricas clave como Precision@K, Recall y fidelidad factual, identificando puntos ciegos en la documentación antes de que afecten a usuarios reales.
Ejemplo en la Práctica
Un banco genera 5,000 preguntas sintéticas sobre sus créditos hipotecarios para verificar que su asistente de IA responde correctamente el 100% de las combinaciones de tasas de interés.