Article

Timeout, retry, outbox : choisir une protection adaptée à la panne

Un service ralentit ou un message revient en double : timeout, retry, outbox et idempotence répondent à des risques différents. Voici comment les combiner.

Le transporteur qui calcule vos délais de livraison devient lent. Vos services réessaient aussitôt et lui envoient encore plus de demandes : le mécanisme de reprise aggrave la panne. Pour l'éviter, il faut borner l'attente et les nouvelles tentatives. Et quand l'opération produit un effet, comme réserver un enlèvement, il faut aussi reconnaître les doublons que ces tentatives peuvent créer. Timeout, retry, outbox et idempotence répondent chacun à une partie du problème ; leur choix dépend de l'opération à protéger.

Deux opérations d'une même boutique fictive illustrent ces choix. La première, l'estimation d'un délai de livraison, est une consultation qui peut être rejouée sans risque : elle montre comment borner l'attente et les essais sans surcharger le transporteur. La seconde, la réservation d'un enlèvement, produit un effet chez le transporteur : elle montre ce qu'il faut ajouter quand une tentative a pu réussir sans que vous le sachiez.

Une panne lente qui multiplie les appels

Dans ce scénario fictif, cent utilisateurs demandent une estimation de livraison. La passerelle, qui reçoit leurs demandes, appelle le service de commandes, qui interroge à son tour le transporteur. Chaque appel est protégé par un timeout, le délai au-delà duquel l'appelant cesse d'attendre la réponse, et par des retries, de nouvelles tentatives après un échec. Chaque couche effectue ici trois tentatives au total.

Si chaque tentative vers le transporteur échoue, une demande initiale peut produire neuf appels au transporteur : trois essais de la passerelle, qui déclenchent chacun trois essais du service de commandes. Cent demandes en produisent jusqu’à neuf cents. Ce calcul est une borne pour cette configuration, pas une mesure de production. La Builders’ Library d’AWS décrit le même effet sur une pile de cinq couches qui réessaient chacune trois fois : la charge de la base de données, au bout de la chaîne, est multipliée par 243, ce qui rend son rétablissement improbable. Pour ses opérations peu coûteuses, AWS indique en conséquence ne réessayer qu'à un seul niveau de la pile.

Le transporteur met déjà trop de temps à répondre. Ces appels supplémentaires occupent les connexions et les tâches en attente. Augmenter simplement le timeout garderait ces ressources encore plus longtemps. Il faut d’abord décider combien de temps l’estimation peut demander, et où les nouvelles tentatives seront conduites.

Un budget de temps pour l’estimation

L’estimation dispose au total de 1 200 ms. Une seule couche, le service de commandes, peut reprendre l’appel au transporteur. La passerelle transmet l’échéance et ne relance pas toute la chaîne. Pour une consultation rejouable, le parcours possible devient :

ÉtapeBudgetFin cumulée maximale
Préparation et contrôles100 ms100 ms
Première tentative, connexion comprise400 ms500 ms
Attente aléatoire0 à 100 ms600 ms
Seconde et dernière tentative400 ms1 000 ms
Construction et retour de la réponse200 ms réservées1 200 ms

Les 400 ms de chaque tentative sont une hypothèse. AWS conseille de choisir ce délai à partir de la latence mesurée du service appelé : fixer d'abord la part de délais dépassés à tort que vous acceptez, par exemple 0,1 %, puis lire le percentile de latence correspondant. AWS précise que cette méthode ne vaut pas telle quelle quand les clients subissent une latence réseau importante, comme à travers Internet. Pour un transporteur externe, les 400 ms doivent donc couvrir le trajet et l'établissement de la connexion, pas seulement le temps de traitement mesuré chez lui.

Entre les deux tentatives, l’attente aléatoire de 0 à 100 ms est un jitter : une part de hasard dans l'attente avant de réessayer. Si tous les clients attendaient exactement la même durée, ils recommenceraient ensemble et reformeraient le pic qui a saturé le transporteur. Les simulations publiées par Marc Brooker chez AWS en 2015 montrent l'intérêt de cette variation par rapport à un délai croissant sans hasard : sans elle, les appels restent groupés, et les clients font plus de travail pour finir plus tard. Avec davantage de tentatives, l'attente grandirait aussi à chaque échec : c'est le backoff, idéalement exponentiel.

Le second appel n’est lancé qu'à deux conditions. L’erreur doit être transitoire : réessayer une requête malformée ne la rendra pas valide, et ajoutera du bruit à la panne. Le budget restant doit aussi permettre l'exécution complète de la tentative, et une file locale pleine ne doit pas ajouter une attente illimitée avant ce décompte.

Le service de commandes limite enfin à vingt les requêtes simultanées vers le transporteur ; au-delà, il refuse rapidement de calculer une estimation. Cette limite est une cloison, ou bulkhead, d'après les cloisons étanches des navires. Elle réserve au transporteur un nombre borné de tâches, pour que son blocage ne consomme pas toutes les capacités de l’application et que les autres opérations continuent de répondre. Dans Release It!, Michael Nygard range les timeouts, le coupe-circuit et les cloisons parmi les patterns de stabilité. Tous ces nombres sont des hypothèses à dimensionner selon la charge et les engagements du service.

Quand les deux essais échouent, dire ce qui manque

Si les deux essais échouent, l’utilisateur reçoit « estimation indisponible », avec une dernière estimation datée seulement si le produit autorise cet affichage. Le service ne confirme pas un délai de livraison qu’il n’a pas obtenu. Afficher une copie datée ou ne rien promettre : ce choix rappelle l'arbitrage entre réponse immédiate et information actuelle, que le théorème CAP formalise sous la forme d'une impossibilité précise, pour une donnée répliquée pendant une partition. Le même choix se pose sans aucune panne réseau, quand une copie est simplement en retard, et il se décide opération par opération, comme le montre l'article sur ce que chaque opération peut accepter d'une donnée en retard.

Si les échecs se répètent, continuer d'appeler le transporteur ne fait qu'entretenir sa surcharge. Un coupe-circuit, ou circuit breaker, enveloppe l'appel et compte les échecs. Au-delà d'un seuil, il s'ouvre : les appels suivants échouent aussitôt, sans atteindre le transporteur. Après un délai, il laisse passer un appel d'essai, ou quelques-uns, pour vérifier si le problème est réglé ; s'ils réussissent, il se referme et le trafic reprend. Martin Fowler détaille ces trois états : fermé, ouvert et semi-ouvert. Le retour à la normale se vérifie sur les résultats de ces sondes et sur la latence, pas sur la seule expiration d’un minuteur.

Une réservation a pu réussir sans que vous le sachiez

L'estimation pouvait être rejouée sans risque : la demander deux fois ne change rien chez le transporteur. La réservation d'un enlèvement est différente. Quand le client valide sa commande, le service de commandes demande au transporteur de venir chercher le colis. Supposons que cet appel dépasse son timeout. L'expiration du délai ne prouve pas que le transporteur a arrêté son travail : il se peut que la réservation ait été enregistrée et que seule la réponse se soit perdue. AWS le rappelle : un timeout ou un échec ne signifie pas forcément que les effets n'ont pas eu lieu.

Réessayer sans précaution peut alors réserver deux enlèvements. AWS en tire la règle : une API qui produit des effets ne se réessaie sans danger que si elle offre l'idempotence. L’idempotence permet de répéter une demande sans multiplier son effet métier. Elle peut être naturelle, comme fixer une valeur, ou obtenue en reconnaissant une demande déjà traitée. Dans ce second cas, une clé stable identifie la demande : le service de commandes la crée avant le premier envoi et la réutilise à chaque tentative. Le transporteur enregistre la clé avec son résultat, ce qui lui permet de renvoyer ce résultat à une nouvelle tentative au lieu de réserver une seconde fois. Il doit également empêcher deux traitements simultanés d’exécuter la même demande.

Cette protection traite les doublons, tandis qu’un numéro de version ou un transport ordonné traite les messages reçus dans le mauvais ordre. Le budget de temps, lui, ne rend pas la reprise sûre. Pour un paiement, l’incertitude sur l’effet externe exige en plus une identité stable et un rapprochement avec le prestataire, que l'article sur la réconciliation après une coupure suit jusqu'au remboursement d'un débit en double.

Publier l'événement sans le perdre, le recevoir sans le doubler

Supposons maintenant que la réservation parte d'un message. Le service de commandes enregistre la commande validée et publie l'événement « commande validée », que le module de transport reçoit pour réserver l'enlèvement. Deux pannes menacent cet échange, l'une avant l'envoi, l'autre après.

Avant l'envoi, le service peut enregistrer la commande, puis s'arrêter avant d'avoir publié le message : la commande est validée, et personne ne réservera l'enlèvement. Une outbox l'évite en enregistrant dans la même transaction le changement métier et le message à publier. Si la transaction réussit, les deux sont conservés. Un relais récupère ensuite les messages en attente pour les envoyer, comme le décrit le pattern Transactional outbox. Le relais doit encore être surveillé et reprendre les envois qui échouent.

Après l'envoi, le relais peut publier deux fois le même événement si la confirmation du premier envoi est perdue. Le module de transport doit donc reconnaître les doublons, faute de quoi il réserverait deux enlèvements. Une inbox conserve les identifiants des messages traités, enregistrés dans la même transaction que les écritures locales du module. Elle ne suffit pas quand l'effet se produit chez le transporteur : si le module réserve l'enlèvement puis s'arrête avant d'enregistrer le message comme traité, le second envoi passe l'inbox. Le message doit donc mener à la clé stable de la réservation : la nouvelle tentative arrive chez le transporteur comme la même demande, dont le résultat est retrouvé au lieu d'être refait. D’autres traitements sont naturellement idempotents et n'en ont pas besoin. Un effet métier unique dépend ainsi du traitement complet, pas seulement du transport du message. Tyler Treat explique cette distinction : le transport seul ne garantit pas un effet métier unique malgré les pannes, et ce qui s'en approche en pratique repose sur des messages idempotents ou sur l'élimination des doublons à la réception.

Reste le message qui ne peut pas être traité, par exemple parce que le transporteur refuse l'adresse d'enlèvement. Le réessayer sans fin peut bloquer ceux qui le suivent. Une file de rebut, ou dead letter queue (DLQ), le met de côté et permet aux autres de continuer, lorsque c’est acceptable. Il faut alors une alerte, un responsable et une procédure de correction ou de reprise : déplacer le message ne répare pas son échec.

Chaque protection répond à une panne précise

Avant d'ajouter un mécanisme, nommez le risque : une attente trop longue, trop d'appels simultanés, une opération exécutée deux fois ou un message jamais publié. Le tableau reprend chaque protection rencontrée dans la boutique, avec le problème qu'elle traite.

Trois familles : borner l’attente avec timeout, circuit breaker et bulkhead ; réessayer sans nuire avec retry borné, backoff et jitter ; fiabiliser les messages avec idempotence, outbox, inbox et file de rebut.
Trois familles d’outils : borner l’attente, encadrer les nouvelles tentatives et fiabiliser le traitement des messages.
FamilleOutilCe qu'il traiteDans la boutique
Borner l'attentetimeoutle temps accordé à l'autre400 ms par tentative
circuit breakerl'acharnement sur une dépendance en panneappels suspendus après des échecs répétés
bulkheadla saturation qui se propagevingt requêtes simultanées au plus vers le transporteur
Réessayer sans nuireretry bornél'erreur transitoiredeux tentatives, dans le seul service de commandes
backoff et jitterles clients qui réessaient tous ensembleattente aléatoire de 0 à 100 ms
Fiabiliser le traitement des messagesidempotencele doublon et le rejeuclé de la demande de réservation
outboxl'événement perdu entre la base et le bus« commande validée » enregistré avec la commande
inboxl'événement republié en doublele module de transport écarte le second envoi
file de rebutce qui n'a pas pu être traitél'adresse refusée par le transporteur

Aucun de ces mécanismes ne décide si une vente peut attendre ou si un affichage ancien reste acceptable. Cette décision métier détermine les réglages : durée d'attente, nombre d'essais et réaction après leur échec.

Partir de la panne, frontière par frontière

Le besoin de protection dépend du mécanisme réel. Un appel local dans une transaction, une file asynchrone et une requête réseau ne présentent pas les mêmes pannes. Des écritures locales couvertes par une même transaction sont validées ou annulées ensemble, mais pas un message envoyé ou un fichier écrit au passage ; une file peut livrer deux fois ; une requête réseau peut expirer sans que vous sachiez ce qu'elle a produit. Après avoir choisi les responsabilités des modules, vérifiez les conditions dans lesquelles leurs échanges peuvent échouer. La même grille de questions se pose devant chaque frontière :

Deux composants séparés par une frontière, puis six questions sur la source faisant autorité, l’invariant immédiat, l’absence de réponse, l’affichage pendant le délai, la réparation, les doublons et les traces.
La même grille de questions, à poser devant chaque frontière de communication.

Une frontière n'appelle pas forcément tous ces mécanismes : un appel local simple peut suffire là où une file et ses reprises multiplieraient les états à surveiller. Dans la boutique, l'estimation se contente de deux essais dans un budget, d'une cloison et d'un coupe-circuit, parce qu'elle peut être rejouée et qu'une réponse « indisponible » ne trompe personne. La réservation demande en plus une clé d'idempotence, une outbox et un destinataire qui reconnaît les doublons, parce qu'une tentative de trop y crée un second enlèvement. Choisissez chaque protection à partir d'une panne identifiée, et vérifiez qu'elle produit bien le comportement prévu.

Sources

Explorer

Sur le même sujet

Choisis dans l’index d’après les étiquettes de cet article — les plus proches d’abord, hors de sa série. Rien n’est écrit à la main : un article publié demain avec les mêmes étiquettes y prendra place.

Laisser un commentaire

Elle n'est jamais affichée ni publiée. Elle sert à regrouper vos commentaires et, si vous vous inscrivez un jour avec elle, à vous les rendre.

Votre commentaire sera relu avant d'être publié.