Distinción entre los datos brutos e inalterados tal como se reciben de las APIs y los datos limpios, transformados y listos para la toma de decisiones.
Explicación y Contexto Conceptual
La separación estricta entre Datos Crudos (Raw Data) y Datos Curados (Curated / Clean Data) es el principio fundacional de la higiene y reproducibilidad en la ingeniería de datos contemporánea.
- **Raw Data (Datos Crudos)**: es la información en su estado original más puro e inmutable, tal como fue entregada por las APIs de plataformas de anuncios o sistemas transaccionales (cargas masivas en JSON o Parquet con campos nulos, registros duplicados, monedas dispares o marcas de tiempo desalineadas). Jamás debe modificarse ni eliminarse, ya que actúa como el registro forense definitivo.
- **Curated Data (Datos Curados)**: es la capa de datos refinada tras pasar por procesos de validación, limpieza y agregación mediante modelos de transformación (dbt). Aquí los nombres de columnas están unificados en un lenguaje de negocio claro, las monedas están convertidas a la divisa oficial, los duplicados han sido eliminados y las métricas han sido validadas.
Los usuarios de negocio y herramientas de BI solo deben tener acceso a la capa curada para evitar conclusiones erróneas.
Ejemplo en la Práctica
Los eventos crudos de clics en JSON se almacenan intactos en la capa Raw; tras la limpieza, la capa Curated ofrece una tabla limpia con clientes y sus carritos abandonados.