Professional Machine Learning Engineer — Übungsfragen und Probeprüfung

Sub-Word-Verfahren wie SentencePiece und WordPiece sind der Standard im modernen NLP. TensorFlow Text implementiert drei Sub-Word-Tokenizer: BertTokenizer (nutzt WordPiece, wie in BERT), WordpieceTokenizer und SentencepieceTokenizer (verwendet von T5 und mT5). Sub-Word-Tokenisierung zerlegt Wörter in sinnvolle Einheiten (z. B. 'searchability' → 'search ##ability') und geht dabei elegant mit Wörtern außerhalb des Vokabulars um, während die Vokabulargröße handhabbar bleibt (30K-100K Tokens). WordPiece arbeitet mit einem Greedy-Algorithmus nach dem Prinzip der längsten Übereinstimmung; SentencePiece ist sprachunabhängig und verarbeitet Rohtext ohne Vorab-Tokenisierung. Wortbasierte Tokenisierung scheitert an unbekannten Wörtern. Zeichenbasierte Tokenisierung erzeugt übermäßig lange Sequenzen. Regelbasierte Tokenisierung lässt sich nicht über verschiedene Sprachen hinweg verallgemeinern. Googles Gemini- und PaLM-Modelle nutzen SentencePiece. Prüfungstipp: moderne NLP-Tokenisierung = Sub-Word (SentencePiece/WordPiece/BPE). Ref: www.tensorflow.org/text/guide/subwords_tokenizer

Gemini Enterprise Agent Platform ML Metadata erfasst die Metadaten von ML-Pipelines als Graph mit drei Entitätstypen: Artefakte (Datensätze, Modelle, Metriken), Executions (Pipeline-Schritte) und Kontexte (Pipeline-Läufe), verbunden durch Events. So entsteht ein abfragbarer Lineage-Graph, der Fragen beantwortet wie: 'Welcher Datensatz wurde zum Trainieren dieses Modells verwendet?' und 'Welche Hyperparameter haben das genaueste Modell hervorgebracht?' ML Metadata ist immer aktiv – es zeichnet automatisch alle Ein- und Ausgabe-Artefakte jedes Pipeline-Laufs auf. Experiments on Agent Platform verfolgt Parameter und Metriken zum Vergleich von Experimenten, bietet aber keine vollständige Lineage auf Pipeline-Ebene. Cloud Audit Logs protokollieren API-Aufrufe zu Sicherheitszwecken, nicht die Beziehungen zwischen ML-Artefakten. Model Registry verwaltet Modellversionen, führt aber nicht auf die Datensätze zurück. Prüfungstipp: 'Lineage' oder 'Provenance' in ML-Pipelines → Gemini Enterprise Agent Platform ML Metadata. Ref: docs.cloud.google.com/vertex-ai/docs/ml-metadata/introduction

Training-Serving-Skew auf Feature-Ebene entsteht häufig, wenn die Batch- und die Streaming-Pipeline zur Feature-Berechnung unterschiedlichen Code verwenden. Feature Store speichert und liefert getreu genau die Werte aus, die geschrieben wurden – wenn die Batch-Pipeline ein Feature mit einer bestimmten Aggregation oder Normalisierung berechnet und die Streaming-Pipeline eine andere Implementierung nutzt, bekommt das Modell beim Serving andere Feature-Werte als beim Training. Googles Dokumentation merkt an: 'Ohne einen Featurestore hast du unter Umständen unterschiedliche Codepfade, um Features für Training und Serving zu erzeugen.' Die Lösung ist eine gemeinsame Berechnungslogik, idealerweise mit Apache Beam, das sowohl den Batch- als auch den Streaming-Modus unterstützt. Feature Store schränkt gemischte Ingestion nicht ein, und seine Serving-Schicht funktioniert korrekt. Overfitting ist ein Problem des Modells, nicht der Feature-Pipeline. Prüfungstipp: unterschiedliche Feature-Werte online vs. im Training → prüfe, ob die Berechnungslogik identisch ist. Ref: docs.cloud.google.com/vertex-ai/docs/featurestore/overview

Mit BigQuery ML baust du Modelle per SQL direkt dort, wo die Daten liegen. Für tabellarische Klassifikation wie die Vorhersage von Kundenabwanderung ist BOOSTED_TREE_CLASSIFIER (basiert auf XGBoost) wirkungsvoll und braucht minimalen Code: eine einzige CREATE MODEL-Anweisung. Die Daten verlassen BigQuery nie, was Pipeline-Komplexität erspart. BigQuery ML unterstützt lineare und logistische Regression, k-Means, ARIMA_PLUS, Boosted Trees, DNN und Matrixfaktorisierung. Der Export nach Cloud Storage für ein eigenes TensorFlow-Training bringt unnötigen Infrastrukturaufwand mit sich. AutoML Tables setzt einen Datenexport voraus. Vortrainierte Modelle aus dem Model Garden zielen auf unstrukturierte Daten (Text, Bilder) ab, nicht auf strukturierte Tabellendaten. Prüfungstipp: strukturierte/tabellarische Daten, die schon in BigQuery liegen + wenig Code → BigQuery ML. Ref: docs.cloud.google.com/bigquery/docs/reference/standard-sql/bigqueryml-syntax-create-boosted-tree