Ensamblaje e implementación de aplicaciones1 / 5
Un equipo quiere hacer una prueba A/B de dos estrategias de prompt distintas para su agente de soporte al cliente. ¿Cómo debería montarlo con Databricks serving?
CorrectoIncorrecto
Alex
Las pruebas A/B de agentes de GenAI en Databricks usan la traffic_config de un serving endpoint para repartir las solicitudes entre served entities. Cada versión del agente se despliega como una served_entity distinta en el mismo endpoint, y traffic_percentage controla el reparto (debe sumar 100). Las respuestas de cada versión se registran por separado en la inference table, lo que permite comparar calidad, latencia y feedback de los usuarios. Análisis de distractores: la opción “Usar Feature Serving para etiquetar cada solicitud y enrutarla…” es incorrecta: Feature Serving sirve para consultar features, no para enrutar prompts. La opción “Desplegar un único endpoint con un hook de preprocesamiento…” es incorrecta: los hooks de preprocesamiento no ofrecen una gestión de tráfico adecuada ni un registro independiente. La opción “Registrar cada versión del prompt en MLflow Model Registry…” es incorrecta: los notebooks de enrutamiento propios se saltan la gestión de tráfico y el registro de inferencias integrados de Databricks. Ref: docs.databricks.com/en/machine-learning/model-serving/serve-multiple-models-to-serving-endpoint.html
Fuentedocs.databricks.com
Puedes obtener respuestas a tus dudas en la app. Crea una cuenta gratis, sin tarjeta de crédito.
Pregunta 1 de 5
Crear una cuenta gratis