Herramienta de código abierto en Python que valida, documenta y perfila conjuntos de datos mediante afirmaciones declarativas llamadas Expectativas.
Explicación y Contexto Conceptual
Great Expectations es una de las herramientas de código abierto más respetadas para implementar pruebas rigurosas de calidad de datos en pipelines analíticos complejos. Permite a los equipos expresar lo que esperan de sus datos en un lenguaje declarativo y comprensible tanto para humanos como para máquinas.
Una 'Expectativa' es una afirmación formal expresada como código Python o JSON, tal como:
- `expect_column_values_to_be_between('cpm', min_value=0.5, max_value=50.0)`
- `expect_column_values_to_match_regex('email', r'^[a-zA-Z0-9_.+-]+@[a-zA-Z0-9-]+\.[a-zA-Z0-9-.]+$')`
- `expect_table_row_count_to_be_between(min_value=10000, max_value=50000)`
Además de validar los datos en tiempo de ejecución, genera automáticamente sitios web interactivos de documentación técnica ('Data Docs') con el estado de salud de cada conjunto de datos.
Ejemplo en la Práctica
Una agencia de compra programática usa Great Expectations para detener la ingesta si el CPM reportado en los archivos crudos supera los $100 por sospecha de fraude.