Professional Data Engineer — Übungsfragen und Probeprüfung

Mit BigQuery wählst du beim Erstellen eines Datasets den geografischen Standort, an dem deine Daten gespeichert und verarbeitet werden. Der Multi-Region-Standort EU stellt sicher, dass die Daten innerhalb der EU-Grenzen bleiben. Um das im großen Maßstab durchzusetzen, kannst du mit Einschränkungen aus Organisationsrichtlinien festlegen, welche Standorte in deiner gesamten Organisation zum Erstellen von Datasets zur Verfügung stehen. Das verhindert, dass ein Team versehentlich ein Dataset in einer Region außerhalb der EU anlegt. CMEK-Verschlüsselung mit Schlüsseln in der EU fügt eine zusätzliche Kontrollebene hinzu, verhindert aber für sich genommen nicht, dass Daten in Regionen außerhalb der EU gespeichert werden — der Standort des Datasets bestimmt, wo die Daten physisch liegen. VPC Service Controls schützen vor Datenexfiltration, steuern aber nicht, wo Daten gespeichert werden. Separate Projekte pro Land zu erstellen ist unnötiger Aufwand, da die Multi-Region EU die Residenzanforderungen der DSGVO abdeckt. Prüfungstipp: Konzentriere dich bei Fragen zur Datenresidenz auf den Dataset-Standort + Organisationsrichtlinien, nicht auf Verschlüsselung oder Netzwerkkontrollen.

In Apache Beam / Dataflow erlaubt Pipeline-Branching, dass eine einzelne PCollection von mehreren Transformationen konsumiert wird und dabei mehrere Ausgabe-PCollections entstehen, die in verschiedene Sinks geschrieben werden können. Um Streaming-Ergebnisse gleichzeitig in BigQuery und Cloud Storage zu schreiben, wendest du separate I/O-Transformationen auf dieselbe PCollection an (oder nutzt verschiedene Branches ausgehend von einer gemeinsamen Transformation). Das ist effizienter als zwei separate Pipelines auszuführen, weil die Daten nur einmal verarbeitet werden und doppeltes Lesen aus der Quelle vermieden wird. Anders als bei der Nutzung von Cloud Storage als Staging-Bereich vor dem Laden in BigQuery schreibt Pipeline-Branching aus derselben Streaming-Pipeline in Echtzeit an beide Ziele. Das Muster nutzt das Modell des gerichteten azyklischen Graphen (DAG) von Beam, in dem jede PCollection mehrere Konsumenten haben kann. Prüfungstipp: Pipeline-Branching mit mehreren PCollection-Ausgaben ist das Standardmuster in Dataflow, um aus einer einzelnen Streaming-Pipeline in mehrere Sinks zu schreiben.

Materialized Views in BigQuery berechnen SQL-Abfrageergebnisse einschließlich Joins und Aggregationen vor und speichern sie im Cache. Wenn Abfragen zu einer Materialized View passen, schreibt das "smart tuning" von BigQuery sie automatisch so um, dass sie die zwischengespeicherten Ergebnisse nutzen, und reduziert damit sowohl Latenz als auch Kosten. Die Views werden bei Änderungen an den Basistabellen automatisch über inkrementelle Aktualisierungen aufgefrischt. Warum nicht die anderen Optionen: Mehr Slots bringen zusätzliche Rechenleistung, beseitigen aber die redundante Join-Arbeit nicht. Die Denormalisierung mit STRUCT dupliziert Daten und erschwert Aktualisierungen. WHERE-Filter reduzieren das Scan-Volumen, berechnen Joins aber nicht vor. Ref: docs.cloud.google.com/bigquery/docs/materialized-views-intro