Professional Data Engineer — Preguntas de práctica y simulacro de examen

BigQuery te permite elegir la ubicación geográfica donde se almacenan y procesan tus datos cuando creas un dataset. La ubicación multirregional EU garantiza que los datos permanezcan dentro de las fronteras de la UE. Para aplicarlo a gran escala, puedes usar restricciones de políticas de organización que limiten qué ubicaciones están disponibles para crear datasets en toda tu organización. Esto evita que cualquier equipo cree por accidente un dataset en una región fuera de la UE. El cifrado CMEK con claves ubicadas en la UE agrega una capa de control, pero por sí solo no impide que los datos se almacenen en regiones fuera de la UE — la ubicación del dataset es lo que determina dónde residen físicamente los datos. VPC Service Controls protege contra la exfiltración de datos, pero no controla dónde se almacenan. Crear proyectos separados por país es una sobrecarga innecesaria, ya que la multirregión EU cubre los requisitos de residencia del GDPR. Consejo para el examen: en las preguntas de residencia de datos, concéntrate en la ubicación del dataset + las políticas de organización, no en el cifrado ni en los controles de red.

En Apache Beam / Dataflow, la ramificación del pipeline permite que una sola PCollection sea consumida por varias transformaciones, produciendo múltiples PCollections de salida que se pueden escribir en distintos sinks. Para escribir los resultados del streaming en BigQuery y en Cloud Storage simultáneamente, aplicas transformaciones de I/O separadas a la misma PCollection (o usas distintas ramas a partir de una transformación común). Esto es más eficiente que ejecutar dos pipelines separados, porque procesa los datos una sola vez y evita leer dos veces desde la fuente. A diferencia de usar Cloud Storage como área de staging antes de cargar a BigQuery, la ramificación del pipeline escribe en ambos destinos en tiempo real desde el mismo pipeline de streaming. El patrón usa el modelo de grafo acíclico dirigido (DAG) de Beam, donde cualquier PCollection puede tener varios consumidores. Consejo para el examen: la ramificación del pipeline con múltiples salidas de PCollection es el patrón estándar de Dataflow para escribir en varios sinks desde un único pipeline de streaming.

Las vistas materializadas de BigQuery precalculan y almacenan en caché los resultados de consultas SQL, incluidos joins y agregaciones. Cuando una consulta coincide con una vista materializada, el "smart tuning" de BigQuery la reescribe automáticamente para usar los resultados en caché, lo que reduce tanto la latencia como el costo. Las vistas se actualizan solas mediante actualizaciones incrementales cuando cambian las tablas base. Por qué no las otras opciones: aumentar los slots agrega cómputo pero no elimina el trabajo de join redundante. La desnormalización con STRUCT duplica datos y complica las actualizaciones. Los filtros WHERE reducen el volumen escaneado pero no precalculan los joins. Ref: docs.cloud.google.com/bigquery/docs/materialized-views-intro