Delta Lake añade sobre los ficheros Parquet de un data lake un registro de transacciones que aporta garantías ACID y versionado completo de cada tabla. Explicamos cómo funciona el transaction log y cómo aprovechar el time travel para auditar, recuperar datos borrados o reproducir un informe exacto de hace unos días.
Azure Synapse Analytics ofrece dos formas muy distintas de consultar datos con SQL: el dedicated SQL pool, con recursos reservados y pensado para cargas predecibles, y el serverless SQL pool, que cobra por dato escaneado y brilla en la exploración ad-hoc sobre el data lake. Comparamos ambos modelos y cuándo elegir cada uno.
El Integration Runtime es la infraestructura de cómputo que ejecuta de verdad las activities de un pipeline de Azure Data Factory. Repasamos los tres tipos disponibles (Azure, Self-Hosted y Azure-SSIS), cuándo usar cada uno y qué implica a nivel de red.
Azure Data Factory organiza la orquestación de datos en pipelines compuestos por activities, que se disparan mediante triggers de distinto tipo (schedule, tumbling window o basados en eventos). Repasamos qué hace cada pieza y cuándo conviene usar cada tipo de trigger.
La arquitectura Medallion organiza los datos en tres capas (Bronze, Silver y Gold) que van mejorando su calidad a medida que avanzan por el pipeline. Vemos qué papel juega cada capa, cómo se apoya en Delta Lake y qué buenas prácticas de esquema y particionado conviene aplicar en cada una.