Databricks Data Engineer Professional — Preguntas de práctica y simulacro de examen

Patrones para aplanar datos anidados: 1) Struct: df.select('order_id', 'customer.name', 'customer.email'). SQL: SELECT customer.name FROM orders. 2) Array: df.select('order_id', explode('items').alias('item')). SQL: SELECT EXPLODE(items) FROM orders. 3) Array anidado de structs: df.select('order_id', explode('items').alias('item')).select('order_id', 'item.product', 'item.qty'). 4) Map: df.select('order_id', explode('metadata').alias('key', 'value')). 5) Expansión con estrella: df.select('order_id', 'customer.*'). Expande el struct en columnas individuales. 6) Aplanamiento recursivo: para estructuras muy anidadas, escribe una función recursiva que recorra el esquema y genere las expresiones select. 7) Consideraciones: explosión de cardinalidad — EXPLODE sobre arrays multiplica la cantidad de filas. Usa array_size() para estimar la expansión. Para arrays de alta cardinalidad (100+ elementos), considera agregar antes de aplanar.

Namespace de Unity Catalog: 1) Tres niveles: catalog.schema.table. Catalog: límite organizacional de nivel superior. Schema: agrupación lógica dentro de un catálogo. Table/View/Function: objetos de datos. 2) Estrategias de catálogo: por unidad de negocio: finance_catalog, marketing_catalog. Por entorno: dev_catalog, staging_catalog, prod_catalog. Por dominio: customers_catalog, orders_catalog. Híbrida: prod_finance, prod_marketing, dev_shared. 3) Delegación de propiedad: el dueño del catálogo administra su catálogo. Puede crear esquemas y otorgar permisos. No puede modificar otros catálogos. 4) Consistencia de gobernanza: el admin del metastore define: permisos por defecto. Retención de los audit logs. Requisitos de clasificación de datos. Esto aplica a todos los catálogos. 5) Migración: desde el Hive metastore: default (un solo catálogo) → migrar a múltiples catálogos. SHOW DATABASES → pasa a ser esquemas dentro de un catálogo. 6) Límites: un metastore por región. Múltiples catálogos por metastore. Cientos de esquemas por catálogo. Millones de tablas por esquema.

Las UDFs estándar de Python en Spark serializan los datos fila por fila a través de la frontera entre la JVM y Python, lo que resulta costoso a gran escala. Las UDFs de Pandas (también llamadas UDFs vectorizadas) usan en cambio Apache Arrow para mover batches columnares y ejecutar código de pandas sobre Series o DataFrames, amortizando la serialización entre muchas filas. Mantienen el trabajo distribuido entre los executors, a diferencia de collect(), y conservan la planificación de Catalyst, a diferencia de la API de RDD. Para lógica de Python personalizada que no se puede expresar con funciones nativas de Spark, una UDF de Pandas es la opción recomendada de alto rendimiento. Las funciones nativas de Spark SQL siguen siendo preferibles cuando la lógica se puede expresar con ellas. Consejo de examen: cuando una pregunta combina 'lógica de Python personalizada' con 'mejor rendimiento' sobre datos grandes, elige la UDF de Pandas/vectorizada por encima de una UDF de Python simple.

Componentes de reverse ETL: 1) Consulta de origen: SELECT customer_id, total_orders, avg_order_value, churn_score FROM gold.customer_360 WHERE updated_at > last_sync_time. 2) Seguimiento de la sincronización: CREATE TABLE sync_status (record_id STRING, target STRING, last_synced TIMESTAMP, status STRING, error_message STRING). 3) Integración con la API: for batch in batches: try: response = crm_api.upsert(batch). update_status(batch, 'synced'). except RateLimitError: sleep(backoff). retry. except APIError as e: update_status(batch, 'failed', str(e)). 4) Idempotencia: usar llamadas de upsert a la API (crear o actualizar). Volver a ejecutar sincroniza los mismos registros sin duplicados. 5) Monitoreo: alertar cuando la tasa de fallos de sincronización supere el umbral. Dashboard: registros sincronizados por corrida, tasas de error, latencia. 6) Calendario: hacerlo coincidir con la cadencia de refresco de la tabla gold. Si gold se refresca a diario a las 6 AM, sincroniza al CRM a las 7 AM.