Databricks Associate Developer for Apache Spark — Questions d'entraînement et examen blanc

L’examen Databricks Certified Associate Developer for Apache Spark valide ta capacité à créer des applications avec Apache Spark. Il couvre les API DataFrame et Dataset, Spark SQL, l’architecture et les composants de Spark, le Structured Streaming, ainsi que le dépannage et l’optimisation des applications DataFrame. Tu dois aussi montrer que tu maîtrises Spark Connect et la Pandas API on Spark : le guide d’examen actuel formule toutes les tâches en Python.

Cette certification s’adresse aux développeurs qui ont au moins six mois d’expérience dans la création d’applications Apache Spark, en Python ou en Scala. Elle atteste d’une vraie aisance avec les API principales de Spark et de ta capacité à raisonner sur les performances et le dépannage dans un environnement de calcul distribué.

Le développement des API DataFrame et Dataset est le domaine le plus lourd avec 30 % : manipulation de colonnes et de lignes, jointures, agrégations et fonctions définies par l’utilisateur avec opérateurs stateful. Viennent ensuite l’architecture et les composants (20 %) et Spark SQL (20 %), qui pèsent à eux deux autant que le domaine DataFrame à lui seul. On y teste le modèle driver-executor, le partitionnement et les shuffles, l’évaluation paresseuse, ainsi que la lecture et l’écriture via Spark SQL sur des sources JDBC et des fichiers.

Le troubleshooting et le tuning d’un côté, le Structured Streaming de l’autre comptent chacun pour 10 %, avec l’Adaptive Query Execution et le traitement par micro-batchs en sémantique exactly-once. Spark Connect et l’API Pandas de Spark sont les domaines les plus légers, 5 % chacun : des sujets récents ou plus pointus que beaucoup de guides de révision passent sous silence, mais qui tombent quand même à l’examen.

L’examen compte 45 questions à choix multiples notées, à traiter en 90 minutes, avec d’éventuelles questions pilotes non notées. Tout est posé sous forme de scénarios couvrant les API DataFrame et Dataset, Spark SQL et l’architecture des clusters : il s’agit de dire si une opération est lazy ou eager, et de voir comment un choix de partitionnement se répercute sur les performances en aval, pas seulement de connaître la syntaxe.

La banque DB-SPARK couvre tous les domaines de l’examen et continue de s’enrichir de nouvelles questions. Un examen blanc te pose 45 questions d’affilée, sur le même chrono de 90 minutes que le jour de l’examen.

Le temps qu’il te faut dépend de ton expérience pratique. Le reste est fixé par l’éditeur : comment l’examen se déroule, quand tu peux le repasser et combien de temps la certification reste valable.

L’examen se passe en ligne avec un surveillant à distance, ou dans un centre de test, et il n’est proposé qu’en anglais. La certification reste valable deux ans ; pour la renouveler, tu dois repasser la version en vigueur de l’examen.

Le domaine API DataFrame teste ton jugement bien au-delà des noms de méthodes : distinguer une transformation d’une action, prévoir quand un broadcast join aide et quand il sature la mémoire des executors, raisonner sur le comportement au niveau des partitions pour une configuration de cluster donnée. Les questions d’architecture vont plus loin que les définitions et attaquent la hiérarchie d’exécution : ce qui se passe entre l’appel d’une action et la planification des tâches par Spark, ou la façon dont le cache et les storage levels interagissent avec le garbage collection quand la mémoire est sous pression. Spark Connect ne pèse que cinq pour cent et la plupart des guides le traitent comme optionnel, pourtant il tombe bel et bien, tout comme les distinctions entre les deployment modes client, cluster et local.