Agent IA : harnais sur le poste de travail vs côté serveur
Agent IA : sur le poste, physique ou virtuel, le harnais lit le travail en cours et agit par délégation ; le serveur garde ce qui tourne sans la personne.
Article
Un agent peut répondre sans erreur technique et se tromper. Quelles mesures suivre pour voir les données en retard, les boucles et les résultats incohérents ?
« Votre commande n’est pas encore expédiée. » L’agent de suivi répond en deux secondes, tous ses appels HTTP ont réussi, et pourtant le colis est parti une minute plus tôt. Un tableau de bord limité aux erreurs techniques ne voit rien. Comment repérer une réponse fausse quand aucun indicateur ne passe au rouge, puis en trouver la cause ? Il faut contrôler le résultat lui-même contre l’état qui fait autorité, et relier dans une trace la demande, la donnée que l’agent a effectivement lue et cet état au moment de répondre.
Un incident fictif sur la commande C42 mène de la réponse fausse à sa réparation : la trace qui situe le premier écart, la mesure qui aurait signalé le retard plus tôt, la réparation vérifiée, puis ce qu’il faut enregistrer pour refaire ce diagnostic. Les horaires, identifiants et seuils servent à expliquer ; ils ne décrivent pas une mesure de production.
Pour surveiller un service, le chapitre Monitoring Distributed Systems du livre de Google sur l’ingénierie de la fiabilité (SRE) propose quatre « signaux d’or » : la latence, le trafic, les erreurs et la saturation. Il range dans les erreurs les requêtes qui échouent explicitement, comme un code HTTP 500, mais aussi celles qui échouent implicitement ; son exemple est une réponse HTTP 200 accompagnée d’un mauvais contenu. Il précise que les codes d’erreur relevés à l’entrée du service repèrent les requêtes qui échouent complètement, et que seuls des tests de bout en bout révèlent un contenu faux. La réponse sur C42 relève du second cas : elle arrive vite et sans code d’erreur, mais son contenu est faux.
Dans l’exemple, un contrôle automatique la détecte. Pour chaque réponse de suivi, il relit le statut de la commande dans le service de commandes, la source qui fait autorité, et le compare à ce que l’agent a dit. Il vérifie aussi quand le changement a eu lieu à la source : une différence apparue après la réponse ne la rend pas fausse. Il lui faut pour cela l’historique des changements ou leurs versions, car l’heure de sa propre relecture ne dit pas quel était l’état au moment de répondre. Ce contrôle du résultat a sa place dans l’observabilité d’un agent, au même titre que la latence ou les erreurs : sans lui, aucune des mesures techniques n’aurait vu l’incident.
Reste à comprendre d’où vient l’écart, ce qui demande de connaître le chemin de la donnée. Le service de commandes enregistre ses changements dans un flux ordonné, où chacun reçoit une position croissante. Un consommateur lit ce flux et applique les changements à une projection : une copie des données organisée pour la lecture, ici la vue suivi-v3 que consulte l’outil de suivi de l’agent. La projection reflète la source jusqu’à la position que son consommateur a traitée ; elle peut donc être en retard. Les positions de l’exemple appartiennent toutes à la même partition du flux, une subdivision qui numérote ses propres changements : les comparer à des positions d’une autre partition n’aurait pas de sens.
Pour la question du client, l’agent a ouvert la tâche T31. Il a fait une lecture, L12, dans l’outil de suivi, puis transmis le résultat au modèle de langage. Voici la trace reconstituée, précédée de deux lignes du flux et du consommateur :
09:41:00 source position=818 C42=expédiée version=8
09:41:02 projection position=817 erreur sur événement 818
09:42:00 tâche T31 question=statut de C42
09:42:00 lecture L12 vue=suivi-v3 position=817
C42=préparée version=7 HTTP=200
09:42:01 modèle entrée issue de L12
09:42:02 tâche T31 réponse=pas encore expédiée
09:42:03 contrôle source C42=expédiée version=8
verdict=réponse contredite
Lue de bas en haut, la trace remonte la chaîne. Le contrôle contredit la réponse, et le changement qu’il invoque, la position 818, date de 09:41:00, avant la réponse. La réponse reproduit fidèlement ce que L12 a renvoyé : la version 7, au statut « préparée ». L12 a lu la vue à la position 817, alors que la source était à 818 depuis une minute et que le consommateur avait échoué sur l’événement 818. Sur ce cas, le premier écart se situe donc avant le modèle : l’outil lui a fourni une ancienne version. Demander au modèle davantage de prudence dans son prompt ne remettra pas la projection à jour.
Ce diagnostic demande plus qu’un identifiant de conversation. T31 relie les étapes de la tâche ; L12 identifie la lecture ; la version 7 désigne le contenu effectivement utilisé. Le contrôle note sa propre source et l’instant de son observation. Sans ces éléments, une relecture faite beaucoup plus tard pourrait reprocher à l’agent un changement survenu après sa réponse, ou ne plus savoir quelle version il avait lue.
La trace explique l’incident après coup. Une mesure du retard l’aurait signalé avant la question du client. À 09:42, la source est à 818 et la vue à 817 : il manque un événement, connu depuis une minute. La date de dernière modification de C42 ne mesure pas ce retard, car une commande inchangée depuis un mois peut être parfaitement à jour. À l’inverse, une projection qui traite beaucoup d’autres commandes peut afficher une activité récente tout en restant incomplète.
Le service fictif de l’exemple accepte trente secondes de retard pour ses réponses automatiques de suivi. Ce seuil est une décision de produit : il ne découle ni d’HTTP ni d’un standard d’observabilité. La mesure surveille l’âge du plus ancien changement pertinent que la projection n’a pas encore appliqué ; ici, l’événement 818, vieux d’une minute, dépasse le seuil. Avec plusieurs partitions, elle suit la progression de chacune séparément, car une moyenne masquerait une partition arrêtée.
Cette mesure suppose que l’application observe aussi la source : en regardant seulement la vue, elle ne peut pas certifier sa fraîcheur. Un marqueur périodique, un événement sans contenu métier que la source émet à intervalle régulier, permet de vérifier que le traitement avance même quand aucune commande ne change. Il ne prouve pas à lui seul que tous les événements ont été appliqués correctement.
Dans l’incident C42, le consommateur échoue sur un nouveau statut d’expédition qu’il ne sait pas traiter, et sa position reste à 817. L’alerte doit donner le nom de la projection, sa partition, la position bloquante et le retard observé. Le chapitre SRE demande à la surveillance de répondre à deux questions : ce qui ne va pas, le symptôme, et pourquoi, une cause parfois intermédiaire. Ici, le symptôme vu par le client est une réponse fausse ; l’erreur du consommateur explique le retard. Les deux observations sont utiles, mais elles ne déclenchent pas nécessairement les mêmes alertes. Celle-ci conduit à une intervention précise :
Le passage à 821 établit un rattrapage jusqu’à ce point connu, et non une synchronisation définitive. Le contrôle métier de l’étape 4 reste nécessaire : un consommateur qui sauterait silencieusement l’événement 818 pourrait avancer sans réparer C42. La procédure de livraison et réparation d’un événement doit donc préciser ce que signifie une position validée.
Pour refaire ce diagnostic sur un autre incident, une trace exploitable conserve l’identité technique de la tâche, les opérations appelées, leurs durées, les décisions d’autorisation et les références des données utilisées. Pour une modification, elle relie aussi la demande à l’opération serveur et au résultat relu. Le texte final de l’agent ne prouve pas à lui seul qu’une opération a eu lieu.
| Information | Utilité dans T31 | Précaution |
|---|---|---|
| Outil, paramètres non sensibles et version | Reproduire la lecture de suivi | Masquer les données personnelles qui ne servent pas au diagnostic |
| Référence du contexte et configuration du modèle | Distinguer ce qui a été fourni de ce qui a été déduit | Conserver le contenu détaillé seulement dans un espace autorisé, avec une durée adaptée |
| Versions source et projection | Localiser le retard | Documenter le sens et le périmètre de chaque position |
| Contrôle du résultat | Établir la contradiction avec la source | Noter quand et comment ce contrôle a été effectué |
La référence du contexte dit ce que le modèle a reçu ; elle ne dit pas pourquoi une pièce disponible lui manque. Dans T31, la version 8 manquait parce que la vue ne l’avait pas encore appliquée. Dans d’autres tâches, une pièce disponible n’est pas transmise parce que le programme qui prépare l’entrée du modèle l’a écartée : elle n’était pas dans la bonne version, sortait du périmètre de la demande, n’était pas autorisée pour cet utilisateur ou ne tenait plus dans la place restante. Si la trace ne garde que les pièces transmises, une sélection erronée reste inexpliquée, car le diagnostic constate l’absence sans savoir si elle vient d’une règle ou d’un défaut. Conservez donc la raison d’une exclusion quand elle peut expliquer une erreur, sans enregistrer par défaut chaque document écarté, et sous les mêmes restrictions d’accès que le reste de la trace : noter qu’une pièce a été écartée faute d’autorisation révèle déjà qu’elle existe.
OpenTelemetry, un cadre open source pour produire et collecter des données de télémétrie, distingue notamment traces, métriques et journaux. La trace suit le parcours d’une demande, ici T31 ; les métriques mesurent dans la durée et montrent si ce cas devient fréquent ; les journaux enregistrent des événements, ici l’erreur précise du consommateur. Les champs de l’exemple sont un contrat applicatif fictif, pas des noms normalisés d’attributs OpenTelemetry.
Les métriques par tâche complètent la trace. Sur des tâches de suivi comparables, suivez notamment la proportion de réponses contrôlées contre la source, qui mesure la couverture du contrôle, et, parmi elles, la proportion de réponses contredites, qui mesure la fréquence de l’incident ; puis le recours direct à la source, la durée, le nombre d’appels et le coût par tâche réussie. Un agent qui tourne en boucle, en rappelant le même outil sans avancer, fait monter le nombre d’appels par tâche. Une hausse des appels peut aussi venir d’un défaut de routage ou de questions plus difficiles : la métrique seule ne tranche pas, et la trace sert à tester ces explications.
Tout enregistrer par défaut aurait un coût et créerait une nouvelle copie de données sensibles. Un identifiant pseudonymisé reste parfois rattachable à une personne. Les accès aux traces, leur conservation et leurs exports vers un prestataire d’observabilité doivent donc être traités comme des accès aux données du service.
L’incident produit un cas de test, à rejouer à chaque changement de l’agent, de ses outils ou de la projection : « la projection accuse un retard connu ; l’agent doit consulter la source autorisée ou dire que le statut ne peut pas être confirmé ». Le test échoue si l’agent affirme un statut périmé, même quand tous ses outils répondent 200.
Pour C42, le contrôle du résultat a vu ce que les codes HTTP ne montraient pas. La trace a placé le premier écart dans la lecture de la vue, avant le modèle. La mesure de progression aurait signalé le retard dès qu’il dépassait trente secondes. La réparation a été vérifiée à la source, et le nouveau cas de test doit échouer chaque fois que ce scénario reproduit la réponse fausse.
Explorer
Choisis dans l’index d’après les étiquettes de cet article — les plus proches d’abord, hors de sa série. Rien n’est écrit à la main : un article publié demain avec les mêmes étiquettes y prendra place.
Agent IA : sur le poste, physique ou virtuel, le harnais lit le travail en cours et agit par délégation ; le serveur garde ce qui tourne sans la personne.
Une citation dans une réponse IA ne vaut pas une visite ni une vente. Comprendre les revenus possibles, les essais de rémunération et les mesures utiles.
Lire des données privées, consulter le web et agir : réunies, ces capacités exposent un agent aux fuites. Un exemple pour comprendre où placer les contrôles.
Laisser un commentaire
Votre commentaire sera relu avant d'être publié.