Quand utiliser un LLM plutôt qu’un programme classique ?
Un modèle de langage aide à interpréter une demande floue. Pour des règles explicites, comparez-le à du code simple et mesurez le coût de ses erreurs.
Article
Une instruction plus précise peut éviter des recherches et des essais inutiles. Pour réduire le coût d’un agent, comparez les sessions complètes et le cache.
Vous retirez du prompt de votre agent une consigne de 500 jetons, ces unités de texte que le modèle traite et sur lesquelles le fournisseur établit sa facture. L'agent doit alors chercher le bon fichier, comprendre son format et corriger un premier essai. Chacun de ces tours supplémentaires renvoie en général au modèle tout ce qui précède, si bien que l'économie de départ peut être dépassée. Pour décider ce qu'il faut fournir, comparez le coût de sessions complètes, jusqu'au résultat attendu, plutôt que la longueur du prompt.
La première partie explique pourquoi un tour de plus coûte davantage que sa propre longueur. Viennent ensuite ce qui mérite d'être fourni d'emblée et ce que le cache change au prix, puis une comparaison chiffrée, fictive, de deux consignes sur dix exports.
Prenons la tâche qui sert de fil à cet article : l'agent doit produire un export conforme à un schéma, avec la bonne colonne de date. À chaque étape, l'application appelle le modèle avec un contexte : les instructions, la demande, les échanges précédents et les résultats d'outils déjà obtenus. Le modèle répond, ou demande un outil, par exemple la lecture du schéma. L'application exécute l'outil, puis rappelle le modèle avec ce résultat ajouté au contexte. Chercher le schéma, le lire, produire le fichier puis le corriger fait donc plusieurs appels.
Chaque appel est facturé selon les jetons qu'il reçoit et ceux qu'il produit. L'application peut renvoyer elle-même l'historique à chaque appel, ou laisser le fournisseur le conserver de son côté. Ce second mode ne rend pas l'historique gratuit : la documentation d'OpenAI sur l'état des conversations précise que, dans une chaîne de réponses reliées par previous_response_id, tous les jetons d'entrée des réponses précédentes sont facturés comme entrées.
Supposons un scénario simplifié : chaque tour ajoute une unité de texte, et tout l'historique est conservé. Les appels successifs traitent une, puis deux, puis trois unités.
Sur dix tours, le total vaut 1 + 2 + … + 10 = 55 unités d'entrée, et non dix. La formule est N × (N + 1) / 2 pour N tours. Elle décrit ce scénario précis : un ajout constant à chaque tour, sans résumé ni retrait. Certains systèmes résument, retirent ou sélectionnent des éléments de l'historique en cours de session ; le coût dépend alors de leur fonctionnement réel, pas d'une règle unique applicable à tous les agents.
Ce scénario suffit pour revenir à la consigne retirée. Supposons qu'elle vaille une unité, présente dans chacun des dix appels : la retirer en économise une par appel, soit dix. Si son absence provoque trois tours de plus pour chercher le schéma et corriger l'export, ces tours relisent l'historique accumulé. Placés en fin de session, ils traitent 11, 12 et 13 unités, moins chaque fois l'unité de la consigne retirée : 10 + 11 + 12 = 33 unités. La session passe ainsi de 55 unités à 45 + 33 = 78 : les trois tours coûtent 33 unités pour 10 économisées, soit 23 unités de plus au total. Avec des ajouts de taille constante, ce total ne dépend pas de la place des trois tours dans la session.
Pour l'export de l'exemple, une consigne courte et précise peut indiquer le fichier de schéma, le nom du champ de date et la manière de vérifier le résultat. Si presque toutes les tâches en ont besoin, la fournir dès le départ peut éviter plusieurs essais.
À l'inverse, inclure toute une documentation rarement utilisée encombre les sessions ordinaires. Un chemin, un lien ou un index peut permettre de charger le détail seulement lorsqu'il devient pertinent.
| Information | Approche à essayer |
|---|---|
| Procédure utile dans presque toutes les tâches | La fournir dans les instructions stables. |
| Documentation volumineuse utile dans certains cas | Donner un index et charger les passages nécessaires. |
| État courant d'un système | Le consulter au moment où la décision en dépend. |
| Piège fréquent qui provoque des essais inutiles | Ajouter une explication brève et un moyen de contrôle. |
La fréquence d'usage compte, mais aussi la taille, la fraîcheur et le coût de récupération. Une information utilisée souvent peut rester trop volumineuse pour être chargée intégralement.
Les appels d'une même session commencent par le même début : instructions, définitions d'outils, premiers échanges. Le cache de préfixe permet au fournisseur de réutiliser le traitement d'un début de requête déjà vu, et de le facturer moins cher. Il peut réduire le prix et le délai de réponse lorsque le contenu et les conditions du fournisseur permettent cette réutilisation.
Le volume et le prix restent donc deux choses différentes. Reprenons les dix tours : si chaque nouvelle unité coûte 1 et que les unités déjà vues sont toutes facturées 0,1 grâce au cache, la session coûte 10 + 45 × 0,1 = 14,5 unités de prix, contre 55 sans cache. Ce rapport de 0,1 est le tarif de lecture que la documentation du cache d'Anthropic indique en règle générale, avec des exceptions pour certains modèles. La même documentation facture l'écriture en cache plus cher que l'entrée ordinaire : 1,25 fois pour une conservation de cinq minutes. Ce calcul illustratif exclut ce supplément d'écriture, les sorties et les outils.
L'étude Don't Break the Cache mesure ces gains sur des sessions d'agent. Ses agents traitent des tâches de recherche de DeepResearchBench en appelant réellement un moteur de recherche web, avec une instruction système de 10 000 jetons, sur quatre modèles d'OpenAI, d'Anthropic et de Google, à raison de 40 sessions par modèle et par mode de cache. Son tableau 1 retient pour chaque modèle le mode qui réduit le plus le délai avant le premier jeton de la réponse : les économies de coût y vont de 41,4 à 79,6 %. Son tableau 2, qui compare tous les modes, sort de cette plage dans les deux sens, de 27,8 % pour Gemini 2.5 Pro quand les résultats d'outils sont exclus du cache à 81,4 % pour GPT-5.2 quand seule l'instruction système y est placée. Ces gains, obtenus avec une longue instruction stable, ne prédisent pas ceux d'une conversation ordinaire. La version 1 du préprint permet de lire les configurations et leurs différences.
Les durées de conservation, les minimums de taille et les tarifs varient. Certaines API activent le cache automatiquement ; d'autres demandent une configuration. Les compteurs d'usage renvoyés avec chaque réponse permettent de vérifier ce qui a réellement été réutilisé.
Dans un cache fondé sur un préfixe identique, une modification placée tôt empêche de réutiliser tout ce qui la suit. Évitez donc de mélanger les instructions stables avec une date ou un identifiant qui change à chaque appel, et placez ces éléments variables après la partie stable. Don't Break the Cache recommande aussi de mettre le contenu dynamique à la fin de l'instruction système, sans avoir testé ce placement à part.
Les descriptions d'outils font aussi partie de ce préfixe. Chez Anthropic, il commence par les outils, puis l'instruction système, puis les messages, et la documentation indique que modifier une définition d'outil invalide tout le cache. Ajouter, retirer ou réordonner des outils en cours de session peut donc coûter plus que leur seule taille. Le choix des outils à présenter suit le même arbitrage entre place, prix et réussite ; l'article sur le catalogue d'outils le développe.
Un contenu mis en cache occupe toujours sa place dans le contexte présenté au modèle : le cache réduit le prix d'un préfixe, pas sa longueur. Or la longueur n'est pas neutre. Le rapport Context Rot de Chroma observe, sur 18 modèles et des tâches volontairement simples, que les résultats baissent à mesure que l'entrée s'allonge. Une facture plus faible ne prouve donc pas que les informations sont mieux sélectionnées.
Voici un jeu de résultats fictif pour rendre le calcul reproductible ; il décrit une expérience à construire, pas une mesure de performance d'un produit. Les deux variantes traitent les mêmes dix exports, avec le même modèle et les mêmes outils. A reçoit une consigne minimale, comme le prompt allégé du début. B reçoit en plus le chemin du schéma, le nom du champ de date et le contrôle à effectuer avant livraison. Une réussite signifie que le fichier livré passe ce contrôle ; un message annonçant un export ne suffit pas.
Le barème fictif vaut une unité de prix pour 1 000 jetons d'entrée non réutilisés, 0,1 pour 1 000 jetons réutilisés, trois pour 1 000 jetons de sortie et 0,2 par appel d'outil. Il sert uniquement au calcul et ne représente le tarif d'aucun fournisseur. Les entrées ci-dessous cumulent tous les appels, y compris les résultats d'outils réinjectés.
| Sur les dix tâches | A : consigne minimale | B : consigne explicite |
|---|---|---|
| Appels au modèle | 30 | 20 |
| Entrées non réutilisées | 30 000 jetons | 35 000 jetons |
| Entrées réutilisées | 50 000 jetons | 60 000 jetons |
| Sorties | 12 000 jetons | 7 000 jetons |
| Appels d'outils | 25 | 15 |
| Résultats conformes après les reprises autorisées | 8 sur 10 | 10 sur 10 |
Dans A, quatre tâches ont commencé par un export avec une mauvaise colonne de date. Deux ont été corrigées dans le budget de reprise, deux restent en échec. Ces tentatives sont déjà incluses dans le tableau. Dans B, une recherche supplémentaire a été nécessaire, mais aucun fichier incorrect n'a été livré.
A coûte 30 + 5 + 36 + 5 = 76 unités, soit 76 / 8 = 9,5 unités par tâche réussie. B coûte 35 + 6 + 21 + 3 = 65 unités, soit 6,5 unités par réussite. B paie davantage d'entrées, mais moins de sorties et de reprises. Le coût des échecs reste dans le numérateur : le retirer favoriserait artificiellement A.
Les deux tâches encore ratées par A imposent également une intervention humaine. Si leur correction prend dix minutes chacune, notez ces vingt minutes séparément et valorisez-les selon votre activité. Ne les transformez pas en coût nul parce qu'elles sont absentes de la facture du modèle. Il faut aussi comparer la durée de bout en bout et vérifier qu'aucune variante ne réussit en négligeant un contrôle.
Avec des tâches qui n'auraient jamais besoin du schéma, les informations ajoutées à B deviendraient un coût sans bénéfice. La comparaison porte donc sur une distribution de tâches réelle. Gardez les cas ordinaires, les exceptions et les échecs ; rejouez plusieurs fois les mêmes cas si le comportement varie.
Pour la consigne de 500 jetons du début, la décision ne dépend donc pas de sa longueur. Elle mérite sa place si, rejouée sur un échantillon de vos tâches réelles, la variante qui la contient coûte moins par tâche réussie, temps humain compris, comme B dans cet exemple. Si la plupart de vos tâches n'en ont jamais besoin, remplacez-la par un index qui permet de la charger au moment utile.
Explorer
Choisis dans l’index d’après les étiquettes de cet article — les plus proches d’abord, hors de sa série. Rien n’est écrit à la main : un article publié demain avec les mêmes étiquettes y prendra place.
Un modèle de langage aide à interpréter une demande floue. Pour des règles explicites, comparez-le à du code simple et mesurez le coût de ses erreurs.
Expliquer une idée, situer un chiffre, rendre les sources accessibles : comment écrire un texte agréable à lire et plus facile à reprendre sans le déformer.
Votre agent IA réutilise une adresse périmée ? Choisir ses souvenirs, corriger leurs copies et bloquer le réimport depuis les sources exclues.
Laisser un commentaire
Votre commentaire sera relu avant d'être publié.