Developing AI Apps and Agents on Azure (AI-103) — Questions d'entraînement et examen blanc

Azure AI Content Understanding étend l'extraction de champs à toutes les modalités, y compris les images. Sa capacité d'extraction de champs d'images te permet d'extraire des champs structurés personnalisés à partir d'images selon un schéma que tu définis ; les champs peuvent être extraits directement, classés parmi un ensemble de catégories, ou générés à l'aide d'un modèle génératif. C'est bien adapté à l'analyse de linéaires dans le retail, au contrôle qualité en production industrielle et à la BI à partir de graphiques, là où tu as besoin de sorties structurées plutôt que de légendes en texte libre. Contrairement à Image Analysis Caption (une phrase figée) ou au VQA générique, l'extraction de champs d'images est pilotée par le schéma et renvoie des champs lisibles par une machine. Astuce d'examen : « des champs structurés personnalisés pilotés par un schéma à partir d'images, avec options de classification et de génération » = extraction de champs d'images de Content Understanding.

La compétence Document Layout d’Azure AI Search appelle le modèle de mise en page d’Azure Document Intelligence pour détecter la structure du document et produire une représentation syntaxique en Markdown ou en texte. Son paramètre markdownHeaderDepth contrôle l’imbrication des sections et, lorsqu’elle est configurée pour une sortie texte avec extraction d’images, elle renvoie normalized_images ainsi que locationMetadata, qui conserve la position de chaque image dans le document. Garder les images près du contenu qui s’y rapporte est précieux pour le RAG et la recherche multimodale. Conseil pour l’examen : « Markdown respectant la structure, avec métadonnées de position des images, pour un RAG multimodal » renvoie à la compétence Document Layout, pas à un simple OCR.

Azure Language répartit la détection des PII selon la forme de l’entrée plutôt que selon les types d’entités concernés, et cette répartition détermine à la fois le modèle d’API et la qualité du résultat. Les chaînes simples sont traitées de manière synchrone, ce qui convient au masquage d’un message ou d’une ligne de log au moment de la requête. Les fichiers natifs sont traités de manière asynchrone et la sortie conserve la structure du document, ce qui compte lorsque l’artefact masqué doit rester lisible comme un document. Les conversations forment une catégorie à part, car le contexte traverse les tours de parole : un nom mentionné une fois peut permettre à un pronom ultérieur d’identifier la personne, et le masquage doit tenir compte de qui a dit quoi. Choisir le mauvais type de fonctionnalité renvoie généralement quand même des entités, c’est pourquoi l’erreur passe la relecture ; elles sont simplement moins bonnes. Faire d’abord correspondre le type de fonctionnalité à la forme des données, puis ajuster les catégories d’entités, reste l’ordre fiable.

L’observabilité de Microsoft Foundry repose sur trois piliers : l’évaluation (mesure de la qualité et de la sécurité), la supervision (tableaux de bord et alertes de production) et le traçage. Le traçage offre une visibilité distribuée et de bout en bout sur l’exécution d’une application d’IA : il enregistre les appels au LLM, les invocations d’outils, les décisions de l’agent et les dépendances entre services. Il repose sur le standard OpenTelemetry et s’intègre à Azure Monitor Application Insights, ce qui correspond exactement à ce dont tu as besoin pour déboguer le comportement d’un agent multi-étapes, repérer les goulots d’étranglement et comprendre les chaînes de raisonnement. Le traçage prend en charge des frameworks comme Microsoft Agent Framework et OpenAI Agents SDK. Conseil pour l’examen : quand une question mentionne « flux d’exécution », « chaque décision », « OpenTelemetry » ou « Application Insights pour déboguer des agents », la réponse est le traçage.