Databricks Data Engineer Associate — Preguntas de práctica y simulacro de examen

Unir un DataFrame de streaming con un DataFrame normal (estático) produce un join stream-static. El lado estático se vuelve a leer en cada trigger de micro-batch, así que las actualizaciones de la tabla estática se recogen automáticamente. No hace falta watermark ni gestión de estado. Análisis de los distractores: el join con ventanas se refiere a agregaciones basadas en ventanas de tiempo en el procesamiento de streams, no a una clasificación de tipos de join. El join de streams con estado implica joins stream-stream, que necesitan watermarks en ambos lados para acotar el estado y evitar un crecimiento sin límite. El join de búsqueda temporal no es un término reconocido en Spark Structured Streaming. Los joins stream-static son ideales para enriquecer datos de streaming con tablas de dimensiones que cambian lentamente. Ref: docs.databricks.com/en/transform/join

Databricks Repos (ahora llamados carpetas de Git) se integran con proveedores de Git (GitHub, Azure DevOps, GitLab, Bitbucket) para sincronizar notebooks y código con repositorios remotos. Los usuarios pueden clonar, crear ramas, hacer commit, push y pull, lo que habilita flujos de trabajo de Git estándar dentro de Databricks. Análisis de los distractores: los Repos NO aplican reglas de protección de ramas; eso se configura en los ajustes del proveedor de Git. Los Repos NO guardan resultados de ejecución: solo se sincronizan los archivos fuente y el historial de ejecuciones se queda en el workspace. Los Repos NO incluyen un runner de CI/CD integrado: el CI/CD se maneja fuera, con GitHub Actions o Azure DevOps Pipelines, disparado por los pushes al remoto. Ref: docs.databricks.com/en/repos/git-operations-with-repos

Photon es el motor de consultas vectorizado de Databricks que acelera cargas de trabajo de SQL y DataFrame, como grandes joins, agregaciones y escrituras, sin cambios en el código. En la UI, Databricks habilita Photon de forma predeterminada para el cómputo clásico de uso general (all-purpose), el cómputo de jobs y los pipelines clásicos mediante la casilla Use Photon Acceleration. Las solicitudes a la Clusters API o a la Jobs API no heredan ese valor predeterminado, por lo que la especificación del clúster debe establecer runtime_engine en PHOTON. El cómputo serverless y los SQL warehouses tienen Photon habilitado sin esta configuración. La ejecución adaptativa de consultas (Adaptive Query Execution) es una función independiente del optimizador que está habilitada de forma predeterminada, y ni el modo de acceso ni el runtime de ML determinan si Photon se ejecuta. Consejo para el examen: si un job se comporta de otra manera cuando se crea mediante una API, busca un valor predeterminado que la UI establece y la API no.