Arquitectura y componentes de Apache Spark1 / 5
Un executor de Spark tiene 4 cores y 16 GB de memoria. ¿Cuántas tareas pueden ejecutarse en paralelo en ese executor?
CorrectoIncorrecto
Alex
Tareas concurrentes por executor = spark.executor.cores / spark.task.cpus. Con el valor por defecto spark.task.cpus=1, cada core ejecuta una tarea, así que 4 cores = 4 tareas concurrentes. Aumentar spark.task.cpus reduce la concurrencia pero le da más CPU a cada tarea — útil para algoritmos de ML multihilo o cargas de trabajo en GPU. La memoria se comparte: la memoria de trabajo de cada tarea ≈ (memoria del executor × memory fraction) / tareas concurrentes. Análisis de distractores: La opción “La cantidad de tareas concurrentes está limitada…” es incorrecta — spark.default.parallelism controla el total de particiones, no la concurrencia por executor. La opción “La concurrencia está limitada por…” es incorrecta — spark.scheduler.maxRegisteredResourcesWaitingTime no tiene relación con la cantidad de slots de tareas. La opción “Pueden ejecutarse hasta 4 tareas en paralelo…” es incorrecta — memoryFraction afecta los umbrales de spill, pero no limita la concurrencia de tareas. Ref: spark.apache.org/docs/latest/configuration.html#scheduling
Fuentedatabricks.com
Puedes obtener respuestas a tus dudas en la app. Crea una cuenta gratis, sin tarjeta de crédito.
Pregunta 1 de 5
Crear una cuenta gratis