Arquitetura e componentes do Apache Spark1 / 5
Um executor do Spark tem 4 cores e 16 GB de memória. Quantas tasks podem rodar simultaneamente nesse executor?
CorretoIncorreto
Alex
Tasks simultâneas por executor = spark.executor.cores / spark.task.cpus. Com o padrão spark.task.cpus=1, cada core roda uma task, então 4 cores = 4 tasks simultâneas. Aumentar spark.task.cpus reduz a concorrência, mas dá mais CPU para cada task — útil para algoritmos de ML multithread ou cargas em GPU. A memória é compartilhada: a memória de trabalho de cada task ≈ (memória do executor × memory fraction) / tasks simultâneas. Análise dos distratores: A opção “O número de tasks simultâneas é limitado…” está errada — spark.default.parallelism controla o total de partições, não a concorrência por executor. A opção “A concorrência é limitada por…” está errada — spark.scheduler.maxRegisteredResourcesWaitingTime não tem relação com o número de slots de task. A opção “Até 4 tasks podem rodar simultaneamente…” está errada — memoryFraction afeta os limiares de spill, mas não limita a concorrência de tasks. Ref: spark.apache.org/docs/latest/configuration.html#scheduling
Fontedatabricks.com
Você pode obter respostas às suas dúvidas no app. Crie uma conta grátis, sem cartão de crédito.
Questão 1 de 5
Criar uma conta grátis