Proceso técnico de dividir documentos extensos en fragmentos más pequeños y semánticamente coherentes para optimizar su indexación vectorial y recuperación en IA.
Explicación y Contexto Conceptual
El Chunking (o fragmentación de documentos) es una de las decisiones de ingeniería de datos más críticas en cualquier sistema RAG o motor de búsqueda semántica. Un modelo de embeddings no puede convertir un libro o catálogo de 200 páginas en un único vector sin perder todos los detalles específicos en un promedio borroso; tampoco se puede dividir el texto ciegamente cada 500 palabras, ya que se cortarían oraciones y conceptos por la mitad.
Las estrategias de chunking avanzadas comprenden:
1. 'Chunking de Longitud Fija con Solapamiento' (Fixed-size with overlap): divide en bloques de 512 tokens con un 10-15% de solapamiento (overlap) para que el contexto no se pierda en las costuras.
2. 'Chunking Semántico' (Semantic Chunking): calcula las distancias semánticas entre oraciones sucesivas y solo corta cuando detecta un cambio evidente de tema.
3. 'Chunking Estructural o Basado en Markdown': respeta los títulos H1, H2, H3, tablas y listas ordenadas.
Un buen chunking asegura que el LLM reciba solo la información quirúrgica necesaria para responder con precisión factual.
Ejemplo en la Práctica
Al procesar la política de reembolsos de una tienda online, el chunking divide el texto de modo que la cláusula de "artículos en oferta" quede íntegra en un solo bloque con sus excepciones.