Databricks Data Engineer Associate — Übungsfragen und Probeprüfung

Wenn du ein Streaming-DataFrame mit einem normalen (statischen) DataFrame joinst, entsteht ein Stream-Static-Join. Die statische Seite wird bei jedem Micro-Batch-Trigger neu gelesen, sodass Änderungen an der statischen Tabelle automatisch übernommen werden. Weder ein Watermark noch State-Management sind nötig. Distraktor-Analyse: Windowed Join bezeichnet zeitfensterbasierte Aggregationen in der Stream-Verarbeitung und ist keine Klassifizierung eines Join-Typs. Stateful Stream Join meint Stream-Stream-Joins, die auf beiden Seiten Watermarks brauchen, um den State zu begrenzen und unbegrenztes Wachstum zu verhindern. Temporal Lookup Join ist kein anerkannter Begriff in Spark Structured Streaming. Stream-Static-Joins eignen sich ideal, um Streaming-Daten mit sich langsam ändernden Dimensionstabellen anzureichern. Ref: docs.databricks.com/en/transform/join

Databricks Repos (inzwischen Git-Ordner genannt) lassen sich in Git-Provider (GitHub, Azure DevOps, GitLab, Bitbucket) integrieren, um Notebooks und Code mit Remote-Repositories zu synchronisieren. Benutzer können klonen, branchen, committen, pushen und pullen – damit sind übliche Git-Workflows innerhalb von Databricks möglich. Distraktor-Analyse: Repos erzwingen KEINE Branch-Protection-Regeln – die werden in den Einstellungen des Git-Providers konfiguriert. Repos speichern KEINE Ausführungsergebnisse – synchronisiert werden nur Quelldateien; der Ausführungsverlauf bleibt im Workspace. Repos bieten KEINEN integrierten CI/CD-Runner – CI/CD läuft extern über GitHub Actions oder Azure DevOps Pipelines, ausgelöst durch Pushes ins Remote-Repository. Ref: docs.databricks.com/en/repos/git-operations-with-repos

Photon ist die vektorisierte Query-Engine von Databricks, die SQL- und DataFrame-Workloads wie große Joins, Aggregationen und Schreibvorgänge ohne Codeänderungen beschleunigt. In der UI aktiviert Databricks Photon standardmäßig für klassisches All-Purpose Compute, Jobs Compute und klassische Pipelines über das Kontrollkästchen Use Photon Acceleration. Anfragen an die Clusters API oder die Jobs API übernehmen diese Voreinstellung nicht, deshalb muss die Cluster-Spezifikation runtime_engine auf PHOTON setzen. Bei Serverless Compute und SQL Warehouses ist Photon auch ohne diese Einstellung aktiviert. Adaptive Query Execution ist eine separate Optimizer-Funktion, die standardmäßig aktiviert ist, und weder der Zugriffsmodus noch die ML-Runtime entscheidet, ob Photon läuft. Prüfungstipp: Wenn sich ein Job anders verhält, sobald er über eine API erstellt wird, such nach einer Voreinstellung, die die UI setzt und die API nicht.