Databricks Data Engineer Associate — Questões de prática e simulado

Fazer join de um DataFrame de streaming com um DataFrame comum (estático) produz um join stream-static. O lado estático é relido a cada disparo de micro-batch, então atualizações na tabela estática são captadas automaticamente. Não é preciso watermark nem gerenciamento de estado. Análise dos distratores: join com janelas se refere a agregações baseadas em janelas de tempo no processamento de streams, não a uma classificação de tipo de join. Join de streams com estado implica joins stream-stream, que exigem watermarks nos dois lados para limitar o estado e evitar crescimento ilimitado. Join de lookup temporal não é um termo reconhecido no Spark Structured Streaming. Joins stream-static são ideais para enriquecer dados de streaming com tabelas de dimensão de mudança lenta. Ref: docs.databricks.com/en/transform/join

O Databricks Repos (agora chamado de pastas Git) se integra a provedores Git (GitHub, Azure DevOps, GitLab, Bitbucket) para sincronizar notebooks e código com repositórios remotos. Os usuários podem clonar, criar branches, fazer commit, push e pull, o que viabiliza fluxos de trabalho Git padrão dentro do Databricks. Análise dos distratores: os Repos NÃO aplicam regras de proteção de branch — isso é configurado nas definições do provedor Git. Os Repos NÃO armazenam resultados de execução: apenas os arquivos-fonte são sincronizados; o histórico de execuções fica no workspace. Os Repos NÃO oferecem um runner de CI/CD embutido — o CI/CD é tratado externamente via GitHub Actions ou Azure DevOps Pipelines, disparado pelos pushes para o remoto. Ref: docs.databricks.com/en/repos/git-operations-with-repos

Photon é o mecanismo de consulta vetorizado do Databricks que acelera workloads de SQL e DataFrame, como grandes joins, agregações e gravações, sem alterações no código. Na UI, o Databricks habilita o Photon por padrão para computação clássica all-purpose, computação de jobs e pipelines clássicos por meio da caixa de seleção Use Photon Acceleration. Requisições à Clusters API ou à Jobs API não herdam esse padrão, então a especificação do cluster precisa definir runtime_engine como PHOTON. A computação serverless e os SQL warehouses têm o Photon habilitado sem essa configuração. A execução adaptativa de consultas (Adaptive Query Execution) é um recurso separado do otimizador que vem habilitado por padrão, e nem o modo de acesso nem o runtime de ML determinam se o Photon é executado. Dica para o exame: se um job se comporta de forma diferente quando é criado por uma API, procure um padrão que a UI define e a API não.