Arquitectura de Data Lake en Google Cloud con Cloud Storage
Cómo montar un data lake sobre Cloud Storage: clases de almacenamiento, organización por zonas raw y curated, y cómo consultarlo directamente desde BigQuery sin cargar los datos.
Cómo montar un data lake sobre Cloud Storage: clases de almacenamiento, organización por zonas raw y curated, y cómo consultarlo directamente desde BigQuery sin cargar los datos.
La arquitectura Medallion organiza los datos en tres capas (Bronze, Silver y Gold) que van mejorando su calidad a medida que avanzan por el pipeline. Vemos qué papel juega cada capa, cómo se apoya en Delta Lake y qué buenas prácticas de esquema y particionado conviene aplicar en cada una.
Cómo montar un data lake sobre S3 sin acabar con un "data swamp": zonas raw y curated, particionado eficiente y un catálogo de metadatos centralizado con AWS Glue Data Catalog y Lake Formation.
Una convención de prefijos por capas (bv_, dv_, f_, p_) para mantener el catálogo de vistas de Denodo ordenado, gobernado y fácil de entender a medida que crece.