Estándar abierto de almacenamiento en disco en formato columnar optimizado para compresión masiva y consultas analíticas de alta velocidad.
Explicación y Contexto Conceptual
Apache Parquet es el formato de archivo indiscutible sobre el que descansan los Data Lakes y sistemas analíticos modernos de Big Data. A diferencia de los formatos tradicionales orientados a filas (como CSV o JSON, donde cada fila se almacena junta en disco), Parquet organiza y agrupa físicamente los datos por columnas.
Esta orientación columnar ofrece dos ventajas determinantes:
1. **Compresión Extrema**: debido a que todos los datos de una columna son del mismo tipo (por ejemplo, millones de números de 'costo_ad' o 'timestamps'), los algoritmos de compresión (Snappy, GZIP, ZSTD) logran ratios de reducción de tamaño de hasta un 85% comparado con archivos CSV.
2. **Proyección Eficiente (I/O)**: si una consulta analítica solicita únicamente el promedio de costo agrupado por canal, el motor solo lee del disco las 2 columnas involucradas, ignorando por completo las restantes 80 columnas de la tabla.
Ejemplo en la Práctica
Un archivo CSV de 10 GB con registros crudos de clics de Google Ads se comprime en un archivo Parquet de solo 1.4 GB y se consulta en 3 segundos en lugar de 40.