Databricks Associate Developer for Apache Spark — Preguntas de práctica y simulacro de examen

El data skew es un problema de rendimiento habitual en Spark: una distribución despareja de los datos genera tareas rezagadas. Síntomas: una o pocas tareas tardan mucho más que el resto en la Spark UI. Soluciones: (1) el skew join de AQE (spark.sql.adaptive.skewJoin.enabled=true, por defecto en Spark 3.x) divide automáticamente las particiones sobredimensionadas, (2) el salting de claves agrega un número aleatorio a la clave sesgada y replica el lado más chico del join, (3) un broadcast join si la tabla no sesgada es lo bastante chica, (4) una pre-agregación para reducir el volumen de datos antes de la operación sesgada.

to_pandas() es la salida de emergencia del procesamiento distribuido al local. Usa Apache Arrow para una serialización eficiente (formato columnar, zero-copy cuando se puede). El flujo de datos: executors → driver (por la red) → batches de Arrow → DataFrame de pandas. Sobre el tamaño: el driver necesita memoria suficiente para sostener el DataFrame entero en formato pandas, que suele ser de 2 a 10 veces el tamaño que tiene en memoria en Spark por el overhead de los objetos de Python. Patrón seguro: if len(ps_df) > threshold: ps_df = ps_df.sample(frac=threshold/len(ps_df)); local_df = ps_df.to_pandas().

Ciclo de vida de una aplicación de streaming en producción: (1) arrancar las consultas de streaming con writeStream.start(), (2) llamar a spark.streams.awaitAnyTermination() para bloquear el hilo principal. Sin ese bloqueo, el proceso del driver termina y todas las consultas de streaming se detienen. awaitAnyTermination espera a que se detenga CUALQUIER consulta (por un error o por un stop() explícito). Cuando vuelve, revisa si hubo excepciones: query.exception muestra los detalles del fallo. Para apps de producción de larga duración, usa awaitAnyTermination() sin timeout (bloquea indefinidamente). En notebooks no hace falta, porque el kernel del notebook mantiene viva la sesión.