Professional Data Engineer — Questões de prática e simulado

O BigQuery permite que você escolha a localização geográfica onde seus dados são armazenados e processados no momento em que você cria um dataset. A localização multirregional EU garante que os dados permaneçam dentro das fronteiras da UE. Para impor isso em escala, você pode usar restrições de políticas da organização para limitar quais localizações ficam disponíveis para a criação de datasets em toda a sua organização. Isso impede que qualquer time crie sem querer um dataset em uma região fora da UE. A criptografia CMEK com chaves na UE acrescenta uma camada de controle, mas por si só não impede que os dados sejam armazenados em regiões fora da UE — é a localização do dataset que determina onde os dados residem fisicamente. O VPC Service Controls protege contra exfiltração de dados, mas não controla onde os dados são armazenados. Criar projetos separados por país é um overhead desnecessário, já que a multirregião EU cobre os requisitos de residência do GDPR. Dica de prova: em questões de residência de dados, foque na localização do dataset + políticas da organização, e não em criptografia ou controles de rede.

No Apache Beam / Dataflow, a ramificação do pipeline permite que uma única PCollection seja consumida por várias transformações, produzindo várias PCollections de saída que podem ser gravadas em sinks diferentes. Para gravar os resultados do streaming no BigQuery e no Cloud Storage simultaneamente, você aplica transformações de I/O separadas à mesma PCollection (ou usa ramos diferentes a partir de uma transformação comum). Isso é mais eficiente do que executar dois pipelines separados, porque processa os dados uma única vez e evita a leitura dupla na origem. Diferente de usar o Cloud Storage como área de staging antes de carregar no BigQuery, a ramificação do pipeline grava nos dois destinos em tempo real a partir do mesmo pipeline de streaming. O padrão usa o modelo de grafo acíclico dirigido (DAG) do Beam, em que qualquer PCollection pode ter vários consumidores. Dica de prova: ramificação do pipeline com várias saídas de PCollection é o padrão convencional do Dataflow para gravar em vários sinks a partir de um único pipeline de streaming.

As visualizações materializadas do BigQuery pré-computam e armazenam em cache os resultados de consultas SQL, incluindo joins e agregações. Quando uma consulta corresponde a uma visualização materializada, o "smart tuning" do BigQuery a reescreve automaticamente para usar os resultados em cache, reduzindo tanto a latência quanto o custo. As visualizações são atualizadas sozinhas por meio de atualizações incrementais quando as tabelas base mudam. Por que não as outras opções: aumentar os slots adiciona capacidade de computação, mas não elimina o trabalho redundante de join. A desnormalização com STRUCT duplica dados e complica as atualizações. Filtros WHERE reduzem o volume escaneado, mas não pré-computam os joins. Ref: docs.cloud.google.com/bigquery/docs/materialized-views-intro