Professional Data Engineer — Questions d'entraînement et examen blanc

BigQuery te laisse choisir l'emplacement géographique où tes données sont stockées et traitées au moment où tu crées un dataset. L'emplacement multirégional EU garantit que les données restent à l'intérieur des frontières de l'UE. Pour l'imposer à grande échelle, tu peux utiliser des contraintes de règles d'administration afin de limiter les emplacements disponibles pour créer des datasets dans toute ton organisation. Cela empêche une équipe de créer par accident un dataset dans une région hors UE. Le chiffrement CMEK avec des clés situées dans l'UE ajoute un niveau de contrôle, mais n'empêche pas à lui seul le stockage des données dans des régions hors UE — c'est l'emplacement du dataset qui détermine où les données résident physiquement. VPC Service Controls protège contre l'exfiltration de données, mais ne contrôle pas où elles sont stockées. Créer des projets distincts par pays représente une charge inutile, puisque la multirégion EU couvre les exigences de résidence du RGPD. Conseil d'examen : pour les questions de résidence des données, concentre-toi sur l'emplacement du dataset + les règles d'administration, pas sur le chiffrement ni sur les contrôles réseau.

Dans Apache Beam / Dataflow, le branchement de pipeline permet à une seule PCollection d'être consommée par plusieurs transformations, ce qui produit plusieurs PCollections de sortie pouvant être écrites vers différents sinks. Pour écrire les résultats du streaming simultanément dans BigQuery et dans Cloud Storage, tu appliques des transformations I/O distinctes à la même PCollection (ou tu utilises différentes branches issues d'une transformation commune). C'est plus efficace que d'exécuter deux pipelines distincts, car les données sont traitées une seule fois et la double lecture depuis la source est évitée. Contrairement à l'utilisation de Cloud Storage comme zone de staging avant le chargement dans BigQuery, le branchement de pipeline écrit vers les deux destinations en temps réel depuis le même pipeline de streaming. Ce motif repose sur le modèle de graphe orienté acyclique (DAG) de Beam, dans lequel toute PCollection peut avoir plusieurs consommateurs. Conseil d'examen : le branchement de pipeline avec plusieurs sorties de PCollection est le motif standard de Dataflow pour écrire vers plusieurs sinks depuis un seul pipeline de streaming.

Les vues matérialisées BigQuery précalculent et mettent en cache les résultats de requêtes SQL, jointures et agrégations comprises. Quand une requête correspond à une vue matérialisée, le "smart tuning" de BigQuery la réécrit automatiquement pour utiliser les résultats mis en cache, ce qui réduit à la fois la latence et le coût. Les vues se rafraîchissent automatiquement par mises à jour incrémentielles quand les tables de base changent. Pourquoi pas les autres options : augmenter les slots ajoute de la puissance de calcul mais n'élimine pas le travail de jointure redondant. La dénormalisation en STRUCT duplique les données et complique les mises à jour. Les filtres WHERE réduisent le volume scanné mais ne précalculent pas les jointures. Ref : docs.cloud.google.com/bigquery/docs/materialized-views-intro