Architecture et composants d'Apache Spark1 / 5
Un executor Spark dispose de 4 cœurs et de 16 GB de mémoire. Combien de tâches peuvent s'exécuter simultanément sur cet executor ?
Bonne réponseRéponse incorrecte
Alex
Tâches simultanées par executor = spark.executor.cores / spark.task.cpus. Avec la valeur par défaut spark.task.cpus=1, chaque cœur exécute une tâche : 4 cœurs = 4 tâches simultanées. Augmenter spark.task.cpus réduit la concurrence mais donne plus de CPU à chaque tâche — utile pour les algorithmes de ML multithreadés ou les charges GPU. La mémoire est partagée : la mémoire de travail de chaque tâche ≈ (mémoire de l'executor × memory fraction) / tâches simultanées. Analyse des distracteurs : L'option « Le nombre de tâches simultanées est plafonné… » est fausse — spark.default.parallelism contrôle le nombre total de partitions, pas la concurrence par executor. L'option « La concurrence est limitée par… » est fausse — spark.scheduler.maxRegisteredResourcesWaitingTime n'a rien à voir avec le nombre de slots de tâches. L'option « Jusqu'à 4 tâches peuvent s'exécuter simultanément… » est fausse — memoryFraction agit sur les seuils de spill, mais ne plafonne pas la concurrence des tâches. Ref: spark.apache.org/docs/latest/configuration.html#scheduling
Sourcedatabricks.com
Les réponses aux questions complémentaires sont disponibles dans l’app. Crée un compte gratuit, sans carte bancaire.
Question 1 sur 5
Créer un compte gratuit