Article

Observer un agent IA : suivre les résultats, les données et les actions

Un agent peut répondre sans erreur technique et se tromper. Quelles mesures suivre pour voir les données en retard, les boucles et les résultats incohérents ?

« Votre commande n’est pas encore expédiée. » L’agent de suivi répond en deux secondes, tous ses appels HTTP ont réussi, et pourtant le colis est parti une minute plus tôt. Un tableau de bord limité aux erreurs techniques ne voit rien. Comment repérer une réponse fausse quand aucun indicateur ne passe au rouge, puis en trouver la cause ? Il faut contrôler le résultat lui-même contre l’état qui fait autorité, et relier dans une trace la demande, la donnée que l’agent a effectivement lue et cet état au moment de répondre.

Un incident fictif sur la commande C42 mène de la réponse fausse à sa réparation : la trace qui situe le premier écart, la mesure qui aurait signalé le retard plus tôt, la réparation vérifiée, puis ce qu’il faut enregistrer pour refaire ce diagnostic. Les horaires, identifiants et seuils servent à expliquer ; ils ne décrivent pas une mesure de production.

Une réponse fausse ne déclenche aucune erreur

Pour surveiller un service, le chapitre Monitoring Distributed Systems du livre de Google sur l’ingénierie de la fiabilité (SRE) propose quatre « signaux d’or » : la latence, le trafic, les erreurs et la saturation. Il range dans les erreurs les requêtes qui échouent explicitement, comme un code HTTP 500, mais aussi celles qui échouent implicitement ; son exemple est une réponse HTTP 200 accompagnée d’un mauvais contenu. Il précise que les codes d’erreur relevés à l’entrée du service repèrent les requêtes qui échouent complètement, et que seuls des tests de bout en bout révèlent un contenu faux. La réponse sur C42 relève du second cas : elle arrive vite et sans code d’erreur, mais son contenu est faux.

Dans l’exemple, un contrôle automatique la détecte. Pour chaque réponse de suivi, il relit le statut de la commande dans le service de commandes, la source qui fait autorité, et le compare à ce que l’agent a dit. Il vérifie aussi quand le changement a eu lieu à la source : une différence apparue après la réponse ne la rend pas fausse. Il lui faut pour cela l’historique des changements ou leurs versions, car l’heure de sa propre relecture ne dit pas quel était l’état au moment de répondre. Ce contrôle du résultat a sa place dans l’observabilité d’un agent, au même titre que la latence ou les erreurs : sans lui, aucune des mesures techniques n’aurait vu l’incident.

Reste à comprendre d’où vient l’écart, ce qui demande de connaître le chemin de la donnée. Le service de commandes enregistre ses changements dans un flux ordonné, où chacun reçoit une position croissante. Un consommateur lit ce flux et applique les changements à une projection : une copie des données organisée pour la lecture, ici la vue suivi-v3 que consulte l’outil de suivi de l’agent. La projection reflète la source jusqu’à la position que son consommateur a traitée ; elle peut donc être en retard. Les positions de l’exemple appartiennent toutes à la même partition du flux, une subdivision qui numérote ses propres changements : les comparer à des positions d’une autre partition n’aurait pas de sens.

La trace situe le premier écart

Pour la question du client, l’agent a ouvert la tâche T31. Il a fait une lecture, L12, dans l’outil de suivi, puis transmis le résultat au modèle de langage. Voici la trace reconstituée, précédée de deux lignes du flux et du consommateur :

09:41:00  source       position=818  C42=expédiée  version=8
09:41:02  projection   position=817  erreur sur événement 818
09:42:00  tâche T31    question=statut de C42
09:42:00  lecture L12  vue=suivi-v3  position=817
                       C42=préparée  version=7  HTTP=200
09:42:01  modèle       entrée issue de L12
09:42:02  tâche T31    réponse=pas encore expédiée
09:42:03  contrôle     source C42=expédiée version=8
                       verdict=réponse contredite

Lue de bas en haut, la trace remonte la chaîne. Le contrôle contredit la réponse, et le changement qu’il invoque, la position 818, date de 09:41:00, avant la réponse. La réponse reproduit fidèlement ce que L12 a renvoyé : la version 7, au statut « préparée ». L12 a lu la vue à la position 817, alors que la source était à 818 depuis une minute et que le consommateur avait échoué sur l’événement 818. Sur ce cas, le premier écart se situe donc avant le modèle : l’outil lui a fourni une ancienne version. Demander au modèle davantage de prudence dans son prompt ne remettra pas la projection à jour.

Ce diagnostic demande plus qu’un identifiant de conversation. T31 relie les étapes de la tâche ; L12 identifie la lecture ; la version 7 désigne le contenu effectivement utilisé. Le contrôle note sa propre source et l’instant de son observation. Sans ces éléments, une relecture faite beaucoup plus tard pourrait reprocher à l’agent un changement survenu après sa réponse, ou ne plus savoir quelle version il avait lue.

Mesurer une progression, pas l’âge du dossier

La trace explique l’incident après coup. Une mesure du retard l’aurait signalé avant la question du client. À 09:42, la source est à 818 et la vue à 817 : il manque un événement, connu depuis une minute. La date de dernière modification de C42 ne mesure pas ce retard, car une commande inchangée depuis un mois peut être parfaitement à jour. À l’inverse, une projection qui traite beaucoup d’autres commandes peut afficher une activité récente tout en restant incomplète.

Le service fictif de l’exemple accepte trente secondes de retard pour ses réponses automatiques de suivi. Ce seuil est une décision de produit : il ne découle ni d’HTTP ni d’un standard d’observabilité. La mesure surveille l’âge du plus ancien changement pertinent que la projection n’a pas encore appliqué ; ici, l’événement 818, vieux d’une minute, dépasse le seuil. Avec plusieurs partitions, elle suit la progression de chacune séparément, car une moyenne masquerait une partition arrêtée.

Cette mesure suppose que l’application observe aussi la source : en regardant seulement la vue, elle ne peut pas certifier sa fraîcheur. Un marqueur périodique, un événement sans contenu métier que la source émet à intervalle régulier, permet de vérifier que le traitement avance même quand aucune commande ne change. Il ne prouve pas à lui seul que tous les événements ont été appliqués correctement.

De l’alerte à une réparation vérifiée

Dans l’incident C42, le consommateur échoue sur un nouveau statut d’expédition qu’il ne sait pas traiter, et sa position reste à 817. L’alerte doit donner le nom de la projection, sa partition, la position bloquante et le retard observé. Le chapitre SRE demande à la surveillance de répondre à deux questions : ce qui ne va pas, le symptôme, et pourquoi, une cause parfois intermédiaire. Ici, le symptôme vu par le client est une réponse fausse ; l’erreur du consommateur explique le retard. Les deux observations sont utiles, mais elles ne déclenchent pas nécessairement les mêmes alertes. Celle-ci conduit à une intervention précise :

  1. Le service désactive les réponses automatiques fondées uniquement sur cette vue. Pour C42, il interroge la source autorisée ; si elle est inaccessible, il annonce que le statut ne peut pas être confirmé.
  2. L’équipe corrige la prise en charge du nouveau statut et reprend le consommateur à sa dernière position enregistrée. Elle vérifie sa politique de déduplication avant tout rejeu, pour qu’un événement appliqué deux fois ne produise pas deux effets.
  3. La projection atteint 821, la position relevée à la source au moment de la reprise : d’autres changements sont arrivés entre-temps. C42 porte maintenant la version 8 et le statut « expédiée ».
  4. Un contrôle de bout en bout repose la question et vérifie le statut retourné. La progression reste normale pendant la période d’observation choisie ; le service réactive alors les réponses automatiques.

Le passage à 821 établit un rattrapage jusqu’à ce point connu, et non une synchronisation définitive. Le contrôle métier de l’étape 4 reste nécessaire : un consommateur qui sauterait silencieusement l’événement 818 pourrait avancer sans réparer C42. La procédure de livraison et réparation d’un événement doit donc préciser ce que signifie une position validée.

Ce qu’il faut enregistrer, et ce qu’il vaut mieux référencer

Pour refaire ce diagnostic sur un autre incident, une trace exploitable conserve l’identité technique de la tâche, les opérations appelées, leurs durées, les décisions d’autorisation et les références des données utilisées. Pour une modification, elle relie aussi la demande à l’opération serveur et au résultat relu. Le texte final de l’agent ne prouve pas à lui seul qu’une opération a eu lieu.

InformationUtilité dans T31Précaution
Outil, paramètres non sensibles et versionReproduire la lecture de suiviMasquer les données personnelles qui ne servent pas au diagnostic
Référence du contexte et configuration du modèleDistinguer ce qui a été fourni de ce qui a été déduitConserver le contenu détaillé seulement dans un espace autorisé, avec une durée adaptée
Versions source et projectionLocaliser le retardDocumenter le sens et le périmètre de chaque position
Contrôle du résultatÉtablir la contradiction avec la sourceNoter quand et comment ce contrôle a été effectué

La référence du contexte dit ce que le modèle a reçu ; elle ne dit pas pourquoi une pièce disponible lui manque. Dans T31, la version 8 manquait parce que la vue ne l’avait pas encore appliquée. Dans d’autres tâches, une pièce disponible n’est pas transmise parce que le programme qui prépare l’entrée du modèle l’a écartée : elle n’était pas dans la bonne version, sortait du périmètre de la demande, n’était pas autorisée pour cet utilisateur ou ne tenait plus dans la place restante. Si la trace ne garde que les pièces transmises, une sélection erronée reste inexpliquée, car le diagnostic constate l’absence sans savoir si elle vient d’une règle ou d’un défaut. Conservez donc la raison d’une exclusion quand elle peut expliquer une erreur, sans enregistrer par défaut chaque document écarté, et sous les mêmes restrictions d’accès que le reste de la trace : noter qu’une pièce a été écartée faute d’autorisation révèle déjà qu’elle existe.

OpenTelemetry, un cadre open source pour produire et collecter des données de télémétrie, distingue notamment traces, métriques et journaux. La trace suit le parcours d’une demande, ici T31 ; les métriques mesurent dans la durée et montrent si ce cas devient fréquent ; les journaux enregistrent des événements, ici l’erreur précise du consommateur. Les champs de l’exemple sont un contrat applicatif fictif, pas des noms normalisés d’attributs OpenTelemetry.

Les métriques par tâche complètent la trace. Sur des tâches de suivi comparables, suivez notamment la proportion de réponses contrôlées contre la source, qui mesure la couverture du contrôle, et, parmi elles, la proportion de réponses contredites, qui mesure la fréquence de l’incident ; puis le recours direct à la source, la durée, le nombre d’appels et le coût par tâche réussie. Un agent qui tourne en boucle, en rappelant le même outil sans avancer, fait monter le nombre d’appels par tâche. Une hausse des appels peut aussi venir d’un défaut de routage ou de questions plus difficiles : la métrique seule ne tranche pas, et la trace sert à tester ces explications.

Tout enregistrer par défaut aurait un coût et créerait une nouvelle copie de données sensibles. Un identifiant pseudonymisé reste parfois rattachable à une personne. Les accès aux traces, leur conservation et leurs exports vers un prestataire d’observabilité doivent donc être traités comme des accès aux données du service.

Ce que l’incident C42 laisse derrière lui

L’incident produit un cas de test, à rejouer à chaque changement de l’agent, de ses outils ou de la projection : « la projection accuse un retard connu ; l’agent doit consulter la source autorisée ou dire que le statut ne peut pas être confirmé ». Le test échoue si l’agent affirme un statut périmé, même quand tous ses outils répondent 200.

Pour C42, le contrôle du résultat a vu ce que les codes HTTP ne montraient pas. La trace a placé le premier écart dans la lecture de la vue, avant le modèle. La mesure de progression aurait signalé le retard dès qu’il dépassait trente secondes. La réparation a été vérifiée à la source, et le nouveau cas de test doit échouer chaque fois que ce scénario reproduit la réponse fausse.

Explorer

Sur le même sujet

Choisis dans l’index d’après les étiquettes de cet article — les plus proches d’abord, hors de sa série. Rien n’est écrit à la main : un article publié demain avec les mêmes étiquettes y prendra place.

Laisser un commentaire

Elle n'est jamais affichée ni publiée. Elle sert à regrouper vos commentaires et, si vous vous inscrivez un jour avec elle, à vous les rendre.

Votre commentaire sera relu avant d'être publié.