Article

Context engineering : diagnostiquer une réponse fausse

Votre agent IA répond faux alors que le bon document existe ? Retrouvez ce que le modèle a reçu avant de corriger la recherche, le contexte ou le prompt.

Un agent IA répond qu’un contrat peut être résilié sans frais, alors que le dossier contient un avenant qui prévoit un forfait. Le context engineering consiste à construire l’entrée que le modèle reçoit réellement. Pour diagnostiquer cette réponse fausse, commencez par reconstituer cette entrée : l’avenant a-t-il été récupéré, transmis puis correctement interprété ? Ajouter « soyez précis » à la consigne ne permet pas de localiser l’échec.

Le terme, popularisé en 2025 et discuté notamment par Simon Willison, nomme ce travail de construction de l’entrée : instructions, historique retenu, descriptions d’outils, passages récupérés, résultats d’exécution et souvenirs sélectionnés. Le logiciel qui entoure le modèle, appelé harnais, collecte ces éléments et les présente à chaque appel. Deux causes servent ici d’exemples, le document manquant puis le souvenir périmé : elles peuvent produire la même réponse fausse, mais ne se corrigent pas au même endroit.

Le dossier existe ; cela ne prouve pas que le modèle l’a lu

Prenons un dossier fictif. Un contrat signé en janvier prévoit une résiliation sans frais. Un avenant accepté en mars remplace cette condition par un forfait de 100 euros pour une résiliation ordinaire. Pourtant, l’assistant répond encore « Vous pouvez résilier gratuitement ». Le moteur documentaire possède les deux fichiers : où le second a-t-il disparu ?

Pour le savoir, il faut regarder l’entrée de l’appel qui a produit la réponse. Cette entrée est le contexte : les informations présentées au modèle pour qu’il calcule sa réponse, opération appelée inférence. Pour ce dossier, la capture montre ceci :

Mission : expliquer les conditions de résiliation
Pièces dans le dossier : contrat de janvier + avenant de mars
Pièce transmise au modèle : contrat de janvier seulement
Réponse : « Vous pouvez résilier gratuitement. »

Le document existe dans le stockage, mais son contenu n’est pas parvenu à cet appel. L’absence de l’avenant donne donc un défaut précis à rechercher. Elle ne prouve pas que le modèle aurait su l’appliquer s’il l’avait reçu : la récupération des pièces et leur interprétation demandent deux vérifications distinctes.

Localiser la perte avant de changer le prompt

Entre le dépôt et l’appel, l’avenant passe par la collecte, la recherche et l’assemblage du contexte. Le tableau élargit le cas : chaque ligne part d’une observation qui situe le défaut à une étape différente, y compris lorsque la pièce manque dès le dépôt.

Observation vérifiéeHypothèse à examinerCorrection ciblée
L’avenant manque aussi dans le dépôt consultéCollecte ou droit d’accès incompletRéparer l’import ou signaler le périmètre manquant ; ne pas inventer la clause
L’avenant est accessible mais absent des résultats de rechercheIndexation, filtres ou sélectionVérifier la version indexée, rechercher par dossier et type de pièce
L’avenant est trouvé mais disparaît avant l’appelTroncature, résumé ou assemblageSuivre les transformations et préserver clause, exception, version et référence
L’avenant est présent avec sa référence, mais le modèle applique le contrat initialMauvaise résolution des versions ou mauvaise interprétationExpliciter le lien de remplacement et tester l’application de l’exception
La réponse cite l’avenant correctement puis promet une résiliation exécutéeConfusion entre analyse et actionVérifier les appels d’outils et l’état du service ; le texte ne prouve aucun effet

La trace utile conserve les identifiants de pièces, leurs versions et les transformations qui ont produit les extraits. Il n’est pas nécessaire de copier tous les documents privés dans des journaux ordinaires. Une capture contrôlée du contexte d’un cas de test permet d’examiner la sélection en limitant la duplication des données sensibles et en contrôlant l’accès à cette capture.

Faire entrer une preuve exploitable

La première réparation consiste à récupérer l’avenant avec le contrat qu’il modifie. Le lien de remplacement doit venir des pièces et de leur traitement vérifié : une date plus récente ne suffit pas toujours à déterminer la règle applicable. Le harnais peut ensuite présenter la condition actuelle avec sa référence.

L’avenant conserve pourtant une exception à zéro euro pour un motif précis, dont l’utilisateur n’a pas indiqué s’il le remplissait. Transmettre seulement la phrase « forfait de 100 euros » ferait perdre cette condition. L’extrait utile comprend donc la règle, son exception et l’information qui manque :

Avenant accepté en mars : remplace la condition du contrat de janvier
Résiliation ordinaire : forfait de 100 EUR
Exception : 0 EUR si le motif prévu est établi
Motif de la demande actuelle : non fourni
Références : avenant, clause 3 ; contrat initial, clause 8

Ces clauses et ces montants appartiennent à l’exemple fictif ; ils ne constituent pas un conseil juridique. La réponse attendue explique la règle et l’exception, puis demande le motif. Si l’utilisateur indique un motif ordinaire, l’appel suivant reçoit cette information et doit expliquer les 100 euros en citant l’avenant. S’il invoque l’exception sans fournir la pièce qui établit ce motif, l’assistant doit la demander au lieu de tenir l’exception pour acquise. Si l’avenant est inaccessible, il doit signaler cette limite.

Retirer un souvenir devenu faux

Le dossier peut être correctement récupéré et rester contredit par une autre information. Supposons que l’assistant ait enregistré en février un résumé : « résiliation gratuite ». Ce souvenir était fidèle au contrat alors disponible. Après l’avenant de mars, le réutiliser comme état actuel introduit une contradiction dans l’entrée du modèle.

Le stockage des documents, la mémoire conservée entre les échanges et le contexte d’un appel sont donc trois choses distinctes. Un souvenir ne peut influencer cet appel que si son contenu, ou une information qui en dépend, y parvient. Pour réparer le dossier, le harnais retire le résumé de février des informations présentées comme actuelles et garde sa provenance pour l’historique. Le modèle reçoit l’avenant, son lien avec le contrat et l’exception, sans que l’ancien résumé se présente comme une règle encore valable.

Vérifier séparément récupération et interprétation

Préparez une capture contrôlée du cas et quatre entrées, en fixant pour chacune, avant l’appel, la réponse attendue et la question que l’essai permet d’examiner :

EssaiEntrée transmiseRéponse attendueCe que l’essai vérifie
1. Contrat seulLe contrat de janvier« Le contrat reçu prévoit une résiliation gratuite », sans prétendre connaître les modifications absentesLa réponse peut être fidèle à la pièce reçue et fausse pour le dossier actuel ; la capture constate l’avenant manquant
2. Contrat et avenantContrat, avenant complet et lien de remplacementRègle des 100 euros, exception, puis question sur le motifL’application du remplacement et de l’exception lorsque les informations sont présentes
3. Avenant tronquéContrat et avenant privé de l’exception, marqué « extrait incomplet »Signaler que la clause est incomplète et demander la pièce entière avant de conclure sur les fraisLa réaction au signal d’incomplétude ; le modèle ne peut pas déduire une exception supprimée sans indice
4. Ancien souvenir ajoutéL’entrée de l’essai 2, plus le résumé de févrierLa même réponse que pour l’essai 2Le traitement du souvenir périmé face à l’avenant

La capture de l’entrée vérifie ce que la récupération a livré ; la réponse vérifie l’interprétation de cette entrée. Si le deuxième essai réussit, cela montre que le modèle peut exploiter les pièces dans ces conditions, sans garantir tous les appels futurs. S’il échoue, il faut examiner leur présentation et leur interprétation en plus de réparer la récupération.

Lost in the Middle étudie notamment des questions portant sur plusieurs documents. Les modèles évalués réussissent souvent mieux lorsque l’information utile est au début ou à la fin de l’entrée qu’au milieu. Cela motive un essai où seule la place de l’avenant change.

Context Rot évalue 18 modèles sur plusieurs tâches et observe une dégradation avec l’allongement de l’entrée. Le rapport distingue les contenus sans rapport avec la question des distracteurs, proches du sujet mais qui ne répondent pas exactement à la question. Dans son expérience dédiée, un distracteur dégrade déjà les résultats, et quatre aggravent la dégradation. En revanche, il ne relève pas de variation notable entre les onze positions testées pour sa tâche de recherche d’une information dans un long texte. L’effet de la position dépend donc du protocole.

Sur le dossier de l’exemple, les essais utiles font varier séparément la longueur de l’entrée, la place de l’avenant et les passages qui lui font concurrence, comme l’ancienne clause ou le souvenir de février. Ces études ne mesurent pas votre modèle sur ce dossier. Une grande fenêtre de contexte — la quantité de contenu admise pour un appel — ne garantit pas que chaque pièce soit correctement utilisée.

Modifiez ensuite un facteur à la fois : sélection des pièces, relation entre versions, représentation de l’exception, puis ordre des passages. Une réponse correcte obtenue après quatre changements simultanés ne permet pas de savoir quel défaut a été corrigé.

Ce que le context engineering change pour l’architecture

Indexation, provenance, invalidation et chargement à la demande sont des problèmes anciens. Ces problèmes se posent autour d’un appel dont l’entrée est bornée et dont la réponse peut varier : il faut vérifier l’entrée réellement assemblée, puis la réponse et les effets obtenus. L’article d’Anthropic sur le context engineering décrit cette préparation au fil du travail, au-delà de la seule consigne.

La figure distingue ce que l’usage d’un modèle apporte de nouveau et ce qui reste de la conception de système sous un nom neuf. La première colonne rassemble les difficultés d’exploitation du contexte par le modèle : position des passages, distracteurs et compaction. La compaction remplace une conversation qui approche la limite de la fenêtre par un résumé, éventuellement produit par le modèle. Anthropic signale qu’une compaction trop agressive peut perdre un détail dont l’importance apparaît plus tard, comme l’exception de l’avenant. Une réponse plausible peut masquer cette perte : c’est le sens de la « dégradation sans alarme » dans la figure.

La seconde colonne reprend des arbitrages connus : préparer les informations à l’avance ou les chercher pendant la tâche, les nommer et les indexer, distinguer les éléments stables des éléments changeants. Une réparation d’indexation ou de mémoire est donc à chercher avant d’attribuer tout échec au modèle. Les coûts et les délais de ces choix se mesurent dans chaque système.

Deux familles de difficultés : usage du contexte par le modèle (position, distracteurs, compaction, perte peu visible) et conception du système (recherche, indexation, stabilité, coûts).
Deux familles de problèmes sous un même nom : la solution ne se cherche pas au même endroit.

Le dossier de l’exemple touche les deux colonnes. L’avenant absent des résultats de recherche et le souvenir périmé se traitent dans le harnais, par la sélection et l’invalidation. Un avenant transmis mais mal appliqué demande aussi d’éprouver l’usage du contexte par le modèle. Les essais de position, de longueur et de distracteurs servent à chercher cette cause, sans la supposer acquise.

Le bon diagnostic ne consiste donc pas à demander systématiquement plus ou moins de texte. Le coût des appels et la sélection des outils deviennent ensuite des optimisations mesurables, une fois la tâche correctement définie. Dans le cas de l’avenant, la réparation visée est précise : retrouver l’avenant, conserver son exception et écarter le souvenir périmé pour que l’assistant demande le motif avant d’annoncer les frais. Les essais 2 et 4 vérifient ensuite si cette réponse est obtenue.

Explorer

Sur le même sujet

Choisis dans l’index d’après les étiquettes de cet article — les plus proches d’abord, hors de sa série. Rien n’est écrit à la main : un article publié demain avec les mêmes étiquettes y prendra place.

Laisser un commentaire

Elle n'est jamais affichée ni publiée. Elle sert à regrouper vos commentaires et, si vous vous inscrivez un jour avec elle, à vous les rendre.

Votre commentaire sera relu avant d'être publié.