Roles básicos, predefinidos y personalizados en IAM de Google Cloud, y cómo usar cuentas de servicio para que Dataflow o Composer accedan a BigQuery y Cloud Storage con el mínimo privilegio necesario.
Cloud Composer es Apache Airflow gestionado sobre GKE. Te explico qué es un entorno, qué es un DAG y cómo se orquesta un flujo típico entre Dataflow y BigQuery.
Dataflow es el servicio de Google Cloud para ejecutar pipelines de Apache Beam sin gestionar infraestructura, con el mismo código para batch y streaming y autoscaling de workers incluido.
Por qué BigQuery no tiene servidores que gestionar, y cómo el particionado y el clustering de tablas reducen los bytes escaneados (y la factura) en cada consulta.
Cómo montar un data lake sobre Cloud Storage: clases de almacenamiento, organización por zonas raw y curated, y cómo consultarlo directamente desde BigQuery sin cargar los datos.