Apache Spark – Architektur und Komponenten1 / 5
Ein Spark-Executor hat 4 Cores und 16 GB Arbeitsspeicher. Wie viele Tasks können auf diesem Executor gleichzeitig laufen?
RichtigFalsch
Alex
Gleichzeitige Tasks pro Executor = spark.executor.cores / spark.task.cpus. Mit dem Standardwert spark.task.cpus=1 führt jeder Core einen Task aus, also 4 Cores = 4 gleichzeitige Tasks. Ein höherer Wert für spark.task.cpus senkt die Parallelität, gibt jedem Task aber mehr CPU — nützlich für mehrfädige ML-Algorithmen oder GPU-Workloads. Der Speicher wird geteilt: der Arbeitsspeicher pro Task ≈ (Executor-Speicher × Memory Fraction) / gleichzeitige Tasks. Distraktor-Analyse: Die Option „Die Zahl der gleichzeitigen Tasks wird durch…“ ist falsch — spark.default.parallelism steuert die Gesamtzahl der Partitionen, nicht die Parallelität pro Executor. Die Option „Die Parallelität wird durch…“ ist falsch — spark.scheduler.maxRegisteredResourcesWaitingTime hat nichts mit der Zahl der Task-Slots zu tun. Die Option „Bis zu 4 Tasks können gleichzeitig laufen…“ ist falsch — memoryFraction beeinflusst die Spill-Schwellen, begrenzt aber nicht die Task-Parallelität. Ref: spark.apache.org/docs/latest/configuration.html#scheduling
Quelledatabricks.com
Antworten auf Rückfragen bekommst du in der App. Erstelle ein kostenloses Konto — ohne Kreditkarte.
Frage 1 von 5
Kostenloses Konto erstellen