Databricks Data Engineer Associate — Questões de prática e simulado

Fazer join de um DataFrame de streaming com um DataFrame comum (estático) produz um join stream-static. O lado estático é relido a cada disparo de micro-batch, então atualizações na tabela estática são captadas automaticamente. Não é preciso watermark nem gerenciamento de estado. Análise dos distratores: join com janelas se refere a agregações baseadas em janelas de tempo no processamento de streams, não a uma classificação de tipo de join. Join de streams com estado implica joins stream-stream, que exigem watermarks nos dois lados para limitar o estado e evitar crescimento ilimitado. Join de lookup temporal não é um termo reconhecido no Spark Structured Streaming. Joins stream-static são ideais para enriquecer dados de streaming com tabelas de dimensão de mudança lenta. Ref: docs.databricks.com/en/transform/join

O Databricks Repos (agora chamado de pastas Git) se integra a provedores Git (GitHub, Azure DevOps, GitLab, Bitbucket) para sincronizar notebooks e código com repositórios remotos. Os usuários podem clonar, criar branches, fazer commit, push e pull, o que viabiliza fluxos de trabalho Git padrão dentro do Databricks. Análise dos distratores: os Repos NÃO aplicam regras de proteção de branch — isso é configurado nas definições do provedor Git. Os Repos NÃO armazenam resultados de execução: apenas os arquivos-fonte são sincronizados; o histórico de execuções fica no workspace. Os Repos NÃO oferecem um runner de CI/CD embutido — o CI/CD é tratado externamente via GitHub Actions ou Azure DevOps Pipelines, disparado pelos pushes para o remoto. Ref: docs.databricks.com/en/repos/git-operations-with-repos

O CONVERT TO DELTA faz uma conversão no próprio lugar de tabelas Parquet ou Iceberg existentes para o formato Delta Lake. Ele varre os arquivos de dados existentes, cria um log de transações _delta_log com as entradas do commit inicial e deixa a tabela consultável como Delta — sem reescrever nenhum arquivo de dados. Sintaxe: CONVERT TO DELTA parquet.`path` [PARTITIONED BY (col type)]. Para tabelas Iceberg com arquivos Parquet, ele lê o manifesto do Iceberg para montar o log do Delta. Incorreto — ele não migra tabelas Hive gerenciadas para tabelas externas. Incorreto — ele converte PARA Delta, não A PARTIR de Delta. Incorreto — ele não reescreve arquivos de dados; a conversão é só de metadados. Avro e ORC não são suportados pelo CONVERT TO DELTA. Ref: docs.databricks.com/en/sql/language-manual/delta-convert-to-delta.html