Anwendungen zusammenstellen und bereitstellen1 / 5
Ein Team will zwei verschiedene Prompt-Strategien für seinen Kundensupport-Agenten per A/B-Test vergleichen. Wie sollte es das mit Databricks Serving aufsetzen?
RichtigFalsch
Alex
A/B-Tests von GenAI-Agenten auf Databricks laufen über die traffic_config eines Serving-Endpoints, die Anfragen zwischen served entities aufteilt. Jede Agent-Version wird als eigene served_entity auf demselben Endpoint bereitgestellt, und traffic_percentage steuert die Aufteilung (die Summe muss 100 ergeben). Die Antworten jeder Version werden getrennt in der Inference Table protokolliert, sodass sich Qualität, Latenz und Nutzerfeedback vergleichen lassen. Analyse der Distraktoren: Die Option „Feature Serving nutzen, um jede Anfrage zu markieren und sie … zu leiten“ ist falsch – Feature Serving dient dem Nachschlagen von Features, nicht dem Prompt-Routing. Die Option „Einen einzelnen Endpoint mit einem Pre-Processing-Hook bereitstellen …“ ist falsch – Pre-Processing-Hooks bieten kein richtiges Traffic-Management und kein unabhängiges Logging. Die Option „Jede Prompt-Version im MLflow Model Registry registrieren …“ ist falsch – eigene Routing-Notebooks umgehen das eingebaute Traffic-Management und das Inference-Logging von Databricks. Ref: docs.databricks.com/en/machine-learning/model-serving/serve-multiple-models-to-serving-endpoint.html
Quelledocs.databricks.com
Antworten auf Rückfragen bekommst du in der App. Erstelle ein kostenloses Konto — ohne Kreditkarte.
Frage 1 von 5
Kostenloses Konto erstellen