Técnica de procesamiento que sintetiza y extrae únicamente las frases relevantes de los fragmentos recuperados, desechando el contenido circundante irrelevante antes de alimentar al LLM.
Explicación y Contexto Conceptual
La Compresión Contextual es un filtro inteligente indispensable en pipelines RAG maduros para resolver el problema de los fragmentos con información contaminante. Cuando un sistema de búsqueda recupera fragmentos de 500 palabras porque contenían un dato relevante, con frecuencia el 85% restante de ese fragmento son textos introductorios, tablas secundarias o notas al pie que no tienen relación con la pregunta del usuario.
Inyectar estos fragmentos completos y crudos en el prompt del LLM desperdicia tokens costosos de entrada y diluye la atención de la red neuronal, aumentando la probabilidad de respuestas vagas o equivocadas.
Un compresor contextual (implementado en frameworks como LangChain o LlamaIndex) evalúa los fragmentos recuperados en relación con la consulta exacta, extrae únicamente las dos o tres oraciones que contienen la respuesta requerida y descarta todo el texto superfluo, garantizando un prompt limpio y conciso.
Ejemplo en la Práctica
De un documento contractual de 10 páginas, la compresión contextual extrae exclusivamente la frase de 20 palabras que especifica el plazo de preaviso para alimentar al chatbot.