Article

Événements : éviter les pertes et préparer la reprise

Une commande expédiée met à jour une liste et déclenche un courriel. Ces effets ne se réparent pas de la même façon : voici comment organiser leur reprise.

La commande C42 passe à « expédiée ». Trois choses doivent suivre : la liste des commandes affiche le nouveau statut, le moteur de recherche est actualisé, et le client reçoit un courriel. Ces trois traitements réussissent ou échouent séparément, et un indicateur « événement publié » ne dit pas lequel a abouti. Pour éviter qu’une destination perde le changement, la décision et l’intention de la diffuser s’enregistrent ensemble. Pour reprendre sans répéter ce qui a réussi, chaque destination garde sa propre preuve de traitement : la liste et l’index se recalculent ou rejouent l’événement manqué, tandis que le courriel se vérifie chez le fournisseur avant d’être renvoyé.

Les premières sections distinguent ces deux sortes de destinations, puis les endroits où la propagation peut s’arrêter et les protections qui leur répondent. Un incident sur l’expédition de C42, où les trois destinations finissent dans trois états différents, précède la comparaison des deux façons de rattraper une copie et le traitement des erreurs qui reviennent à chaque essai.

Deux copies à recalculer, un effet à suivre

La liste et l’index de recherche représentent des informations déjà présentes dans la commande. Ce sont des projections : des copies des données préparées pour la lecture et tenues à jour à partir des changements. Si la source conserve les données nécessaires, ces copies peuvent être reconstruites à tout moment, et une mise à jour manquée se répare en les recalculant ou en rejouant le changement manqué.

L’envoi du courriel produit au contraire un effet hors du système : un message part chez un fournisseur d’envoi, puis chez le client. Relire la commande ne dit pas si le fournisseur a reçu ce message. Il faut donc conserver l’intention d’envoi et suivre son traitement, comme une opération à part entière.

Un courriel manqué n’est pas forcément irrécupérable pour autant. Une intention d’envoi enregistrée durablement, un identifiant stable et un statut consultable chez le fournisseur peuvent permettre de le reprendre. Sans ces informations, savoir s’il est parti devient beaucoup plus difficile.

La propagation peut s’arrêter à trois endroits

Le changement se diffuse sous la forme d’un événement, un message qui annonce un fait déjà décidé : « C42 expédiée, version 8 ». Entre la décision et les trois destinations, ce message peut s’arrêter à trois endroits.

  1. Avant la publication. La commande est enregistrée, puis le processus s’arrête avant d’envoyer l’événement.
  2. Pendant le transport. Le message attend, disparaît selon les garanties de la file ou doit être retransmis.
  3. Chez le consommateur. Le message arrive, mais une erreur empêche son application.

Chaque endroit appelle sa protection, et un indicateur « événement envoyé » couvre au mieux le premier : il ne prouve pas que toutes les destinations ont terminé leur travail. La liste, l’index et le courriel demandent chacun un suivi adapté.

Enregistrer la décision et l’intention de diffuser ensemble

Au premier arrêt, l’expédition est bien enregistrée, mais l’intention de la diffuser n’existe nulle part : aucun événement ne l’annonce, et rien ne signale qu’il manque. Envoyer le message pendant la transaction ne règle pas le problème. Si la transaction échoue après l’envoi, le message annonce une expédition qui n’existe pas. Chris Richardson le résume : sans transaction distribuée, envoyer un message au milieu d’une transaction n’est pas fiable.

Une outbox enregistre l’intention d’envoi dans une table de la même base, dans la même transaction que le changement métier. Un relais, programme distinct, la transmet ensuite. Si le processus s’arrête après la validation, l’intention reste enregistrée et le relais la trouvera. La transaction qui protège la décision et son outbox sont détaillées dans un autre article.

Cette propriété protège le départ, sans prouver que chaque destinataire a appliqué le message : les confirmations, les reprises et la conservation des messages complètent le dispositif. D’autres sources peuvent alimenter la diffusion, comme la capture des changements, qui lit le journal interne de la base, ou un stockage par événements, où le journal des événements fait lui-même référence. Leurs possibilités de reprise dépendent notamment de la durée de conservation des changements et du suivi de chaque consommateur. Aucun nom de technologie ne dispense de vérifier ces conditions.

Un message peut arriver deux fois : dédupliquer au moment de l’effet

Le relais peut tomber après l’envoi, mais avant d’avoir noté que le message est parti. Il le renvoie alors à son redémarrage. Richardson le signale comme la contrepartie de l’outbox : le relais peut publier un message plus d’une fois, et le consommateur doit donc être idempotent. Pour éviter un effet supplémentaire, le consommateur reconnaît un identifiant déjà traité, ou applique une opération idempotente, qui produit le même résultat qu’elle soit appliquée une fois ou plusieurs.

La déduplication doit être reliée à l’effet lui-même. Pour le courriel, le consommateur peut noter le message comme traité avant l’appel au fournisseur, ou après. S’il le note avant et tombe avant l’appel, le courriel n’est jamais envoyé. S’il le note après et tombe entre l’appel et la note, le message sera traité de nouveau et le courriel envoyé deux fois. Aucun des deux ordres n’élimine le risque.

Une clé d’idempotence couverte par une garantie de déduplication du fournisseur, ou une consultation de l’état de l’opération chez lui, peut lever cette incertitude. Sans ce mécanisme, il faut choisir le risque accepté et définir les cas à examiner à la main.

Une garantie « exactement une fois » doit donc toujours être lue avec son périmètre. Tyler Treat rappelle qu’une livraison exactement une fois est impossible dans un système distribué, et que les systèmes qui s’en approchent la simulent par l’idempotence ou la déduplication ; il souligne que les effets de bord compliquent encore cette simulation. Retransmettre un message et produire une seule fois l’effet observé sont deux propriétés différentes. Une transaction dans un système donné ne couvre pas automatiquement un courriel ou une API extérieure qui ne participe ni à cette transaction ni à un protocole de déduplication.

L’expédition de C42 : trois destinations, trois reprises

Déroulons maintenant un incident fictif. L’expédition de C42, version 8, est annoncée par l’événement E818, c’est-à-dire l’événement placé en position 818 dans le flux. La source et l’outbox ont été validées ensemble : le départ est protégé. Chaque destination conserve ensuite son propre état, et « publié » ne veut pas dire « appliqué partout ».

DestinationÉtat après la première livraisonReprise décidée
Liste des commandesC42 version 8, expédiée ; E818 appliquéAucune
Index de rechercheC42 version 7 ; E818 refusé pour champ inconnuCorriger le consommateur puis rejouer E818
CourrielIntention N42 envoyée, réponse du fournisseur perdueRetrouver N42 chez le fournisseur avant un nouvel envoi

La liste est à jour, mais elle doit le rester si une ancienne notification arrive ensuite, par exemple la version 7 retransmise. Dans ce contrat, chaque événement porte l’état complet nécessaire à la vue et une version par commande ; le consommateur remplace une ligne seulement par une version plus récente, et ignore donc la version 7. Cette règle ne conviendrait pas telle quelle à des événements différentiels, comme « ajouter un article », dont chacun doit être appliqué une fois.

Pour l’index, E818 et son erreur sont conservés. Après correction du consommateur, seul celui-ci reprend, depuis sa position durable 817, dans la même partition du flux, celle qui contient les événements de C42. L’écriture de la nouvelle ligne et l’enregistrement de la position sont liés : un arrêt ne doit pas permettre d’avancer la position sans appliquer le changement. L’index relu affiche ensuite C42 version 8. Rejouer E818 pour les trois destinations aurait inutilement remis le courriel en circulation : comme le note Martin Fowler, un système externe ne distingue pas un traitement réel d’un rejeu.

Pour le courriel, l’intention N42 portait un identifiant stable. Le fournisseur, interrogé avec lui, répond que l’envoi existe sous sa propre référence, P204, à l’état « accepté ». Le suivi local est rapproché de cette réponse, et aucun second courriel ne part. L’acceptation par le fournisseur ne prouve ni la lecture du courriel ni même sa livraison finale ; si le besoin porte sur la livraison, le suivi attend l’événement de livraison ou d’échec du fournisseur. Une réponse « introuvable » n’aurait pas suffi à conclure, si le fournisseur pouvait encore traiter la première demande. S’il ne proposait ni recherche fiable ni idempotence, N42 resterait à examiner : reconstruire une projection ne résout pas cette incertitude.

Ce parcours prolonge le pattern de Richardson : l’intention durable protège le départ, tandis que chaque destinataire doit définir son effet et sa reprise. Les durées doivent aussi être compatibles entre elles. Une fenêtre de déduplication de vingt-quatre heures, par exemple, ne couvre pas un rejeu réalisé une semaine plus tard ; la conservation des messages, les clés et la procédure de réparation se choisissent ensemble.

Rejouer les événements ou reconstruire depuis la source

L’index de C42 a été rattrapé en rejouant un événement. Une copie peut aussi être refaite à partir des données de référence. Les deux méthodes ne demandent pas les mêmes conditions.

MéthodePrincipeCondition
Rejouer les événementsReprendre les changements non appliqués.Conserver les événements nécessaires et un point de reprise fiable.
Reconstruire depuis la sourceRecalculer la vue à partir des données de référence.Disposer de toutes les informations utiles, y compris les suppressions et l'historique requis.

Pour un index de commandes, relire l’état courant peut suffire. Pour un historique quotidien, cet état seul peut avoir perdu des informations, comme le statut qu’avait une commande chaque soir : il faut alors une source historique adaptée.

Les principes de conception de Kubernetes illustrent une autre façon d’exploiter la source de référence, qui ne dépend d’aucun événement manqué. Ils demandent que le système fonctionne correctement à partir de l’état souhaité et de l’état observé, même s’il a manqué des mises à jour intermédiaires ; la réaction aux événements n’y est qu’une optimisation. Transposé à l’index, cela revient à comparer régulièrement l’index à la source et à corriger l’écart : les événements accélèrent la réaction, et la comparaison retrouve un changement manqué. C’est aussi le principe de la réconciliation après une coupure.

Lorsque le coût le permet, privilégiez une réparation exercée régulièrement, comme cette comparaison : un mécanisme utilisé uniquement en incident est plus difficile à connaître et à fiabiliser le jour où il sert.

Traiter les erreurs qu’un nouvel essai ne corrige pas

E818 a été refusé par l’index pour un champ inconnu. Tant que le consommateur n’est pas corrigé, chaque nouvel essai échouera de la même façon, et un message illisible ou incompatible ne doit pas boucler indéfiniment. Deux stratégies restent cohérentes avec le point de reprise. Dans l’incident de C42, la partition de l’index s’arrête sur E818 : sa position reste à 817, ce qui garantit encore que tout ce qui la précède est appliqué, et elle reprend à 817 après la correction, au prix d’une attente pour les événements suivants de cette partition.

En variante, une file de rebut, une file séparée où ces messages sont mis de côté avec leur erreur, permet de poursuivre avec les suivants. La position ne prouve plus alors que tout ce qui la précède est appliqué : il faut un registre durable des messages mis de côté, repris séparément, et l’index ne doit pas se déclarer à jour jusqu’à cette position. Pour des événements différentiels qui dépendent les uns des autres, cette variante doit encore préserver l’ordre requis. Dans les deux cas, la mise à l’écart est surveillée et s’accompagne d’une procédure de correction et de reprise.

Pour une projection, une reconstruction peut être préférable à un long rejeu, si elle préserve toutes les informations nécessaires. Pour une action extérieure, examinez d’abord son état réel avant de la relancer, comme pour N42.

Ce que la reprise de C42 a garanti

Au terme de l’incident, la liste affiche C42 expédiée depuis la première livraison, l’index l’affiche en version 8 après la correction et le rejeu du seul E818, et le fournisseur a accepté N42 sous la référence P204 sans qu’un second envoi soit demandé ; la livraison reste suivie si elle fait partie du besoin. Le contrat de propagation tient en trois engagements : ce qui a été décidé est enregistré avec l’intention de le diffuser, chaque destination dispose d’un moyen de rattrapage adapté à sa nature, et les situations indécises restent visibles jusqu’à ce qu’elles soient tranchées. Les outils de résilience servent ces engagements, chacun à une étape précise.

Sources

Explorer

Sur le même sujet

Choisis dans l’index d’après les étiquettes de cet article — les plus proches d’abord, hors de sa série. Rien n’est écrit à la main : un article publié demain avec les mêmes étiquettes y prendra place.

Laisser un commentaire

Elle n'est jamais affichée ni publiée. Elle sert à regrouper vos commentaires et, si vous vous inscrivez un jour avec elle, à vous les rendre.

Votre commentaire sera relu avant d'être publié.