Article

Données en retard : choisir ce que chaque opération peut accepter

Une donnée absente ou ancienne ne bloque pas tous les usages. Choisir, opération par opération, quand attendre, limiter le service ou accepter un retard.

À 9 h, l'Atelier Morin s'inscrit comme nouveau client. Une minute plus tard, la facturation cherche « Morin » pour préparer sa première facture et ne trouve rien : la copie des clients qu'elle consulte n'a pas encore reçu l'inscription. Faut-il refuser la facture, attendre, ou la préparer pour plus tard ? La réponse dépend de ce que fait l'opération : le même retard peut être acceptable pour une recherche et bloquant pour l'émission d'une facture. Il faut donc écrire, opération par opération, ce que chacune fait quand l'information qu'elle attend est absente ou ancienne.

De l'inscription au retour à la normale, le cas de ce client montre d'où vient le retard et en quoi il diffère d'une coupure réseau, puis ce que la facturation en fait pour ses lectures et pour sa décision d'émettre. Trois conduites s'en dégagent : bloquer, limiter le service ou accepter le décalage.

Le client existe déjà, mais pas encore dans la copie de la facturation

Dans ce service fictif, le module d'inscription enregistre l'Atelier Morin dans le dossier client, qui fait référence pour l'identité et l'adresse : c'est la source. L'inscription attribue au client le numéro C42. La facturation, elle, ne cherche pas ses clients dans ce dossier. Elle interroge un index de recherche, une copie organisée pour retrouver un client par son nom. Un traitement de fond recopie dans cet index chaque changement du dossier client, quelques secondes après son enregistrement.

Entre l'enregistrement et la recopie, l'Atelier Morin existe dans la source et reste absent de l'index. Ce décalage ne demande aucune panne : il survient même quand tous les modules sont livrés ensemble, dans une seule application. Il vient du choix de mettre la copie à jour après coup. Et si le traitement de fond s'arrête, le retard de quelques secondes devient un retard qui dure.

Pourquoi ne pas mettre l'index à jour en même temps que le dossier ? Si l'inscription attendait la mise à jour de toutes ses copies avant de se confirmer, elle attendrait leurs réponses, et une copie indisponible pourrait la bloquer. Avec la mise à jour asynchrone retenue ici, l'inscription est confirmée avant la recopie. Daniel Abadi décrit ce compromis pour les bases de données qui répliquent leurs données (Abadi, 2012). Attendre que les copies aient reçu la mise à jour allonge l'écriture, d'autant plus que la copie la plus lente fixe le délai. Une réplication asynchrone tient au contraire la mise à jour pour faite avant de l'avoir propagée, et une lecture servie par une autre copie peut alors renvoyer un état plus ancien. Abadi décrit aussi des variantes intermédiaires, qui n'attendent qu'une partie des copies. L'index de la facturation relève du cas asynchrone.

Ce retard n'est pas une coupure réseau, mais il pose la même question

Le théorème CAP traite d'une autre situation. Démontré par Seth Gilbert et Nancy Lynch en 2002, il porte sur une donnée dont plusieurs machines gardent une copie. Si le réseau perd les messages entre ces machines, ce que le théorème appelle une partition, le système ne peut pas garantir deux choses à la fois. La première est la disponibilité : toute demande reçue par une machine en état de marche finit par obtenir une réponse conforme à l'opération demandée. La seconde est la cohérence au sens de CAP : les opérations se comportent comme s'il n'existait qu'une seule copie, dans un ordre unique qui respecte l'ordre réel de celles qui ne se chevauchent pas (Gilbert et Lynch, 2002). Une machine isolée doit donc choisir entre répondre avec ce qu'elle sait et attendre le retour du réseau.

Chez l'Atelier Morin, le réseau fonctionne : l'index est simplement en retard. CAP ne s'applique pas tel quel, et le mot « partition » ne convient pas à tout retard de traitement. Abadi propose d'ailleurs de compléter CAP par une seconde branche, sous le nom de PACELC. En cas de partition, le système arbitre entre disponibilité et cohérence ; sinon, quand tout fonctionne, il arbitre encore entre latence et cohérence. Le retard de l'index relève de cette seconde branche.

La question de conception reste pourtant celle d'une coupure : que peut faire une opération quand l'information dont elle a besoin est absente ou ancienne ? La facturation a quatre opérations à examiner : rechercher un client, préparer un brouillon de facture, émettre la facture et afficher le total du mois.

Les lectures peuvent répondre avec une donnée datée

Compliquons le cas d'une seule chose. Ce matin-là, le traitement de fond s'est arrêté sur une erreur à 8 h 58. À 9 h 01, l'index ne contient donc ni l'Atelier Morin ni aucun autre changement postérieur à 8 h 58.

Pour la recherche, le contrat du service fixe le fonctionnement normal à 60 secondes de retard au plus. Au-delà, la recherche reste disponible en mode limité : elle continue de répondre, mais affiche jusqu'à quelle heure sa copie est à jour, « index à jour jusqu'à 8 h 58 ». Elle ne conclut pas non plus que le client n'existe pas. « Aucun résultat dans l'index » et « ce client n'existe pas » sont deux réponses différentes, et seule la première est établie. Comme le retard dépasse 60 secondes, une alerte part vers l'équipe chargée du traitement de fond. C'est le rôle d'un seuil chiffré : « un peu de retard » ne permet ni de déclencher une alerte ni de décider quand changer de comportement. Ce chiffre appartient au service concerné, et il se valide selon les conséquences d'un retard pour ses utilisateurs.

L'employé de la facturation n'est pas bloqué pour autant. Le numéro C42, reçu à l'inscription, ouvre directement le dossier client, sans passer par l'index.

Le total facturé du mois suit la même logique. Il est calculé dans une projection, c'est-à-dire une copie des données préparée pour un écran et mise à jour après les changements de la source. Le contrat lui admet cinq minutes de retard. L'écran affiche jusqu'où vont les données prises en compte, par exemple « ventes enregistrées jusqu'à 9 h 02 », et ne présente pas le total comme définitif. L'heure du calcul ne suffirait pas : un total recalculé à 9 h 12 sur des ventes reçues jusqu'à 8 h 58 resterait ancien. Dans ce service, aucune facture n'est émise à partir de ce total : un chiffre vieux de quelques minutes peut attendre la mise à jour suivante.

La facture attend une donnée vérifiée dans le dossier client

Émettre une facture engage davantage. Une facture émise sort du système : le client la reçoit, et la corriger demande une nouvelle opération. La règle « facturer le bon destinataire » doit donc rester vraie quoi qu'il arrive ; une règle de ce genre s'appelle un invariant. Pour le vérifier, il faut savoir quelle information fait autorité. Ici, c'est le dossier client, pas l'index.

L'employé ouvre donc le dossier C42 par son numéro et prépare un brouillon. Le brouillon fixe le destinataire et la version du dossier que l'employé a lue : « Atelier Morin, adresse du dossier en version 1 ». Si le dossier client ne répondait pas, le brouillon serait tout de même enregistré, marqué incomplet, et rien ne serait émis. Préparer le travail ne promet rien au client ; cette étape peut donc avancer avec une information partielle.

Au moment d'émettre, la facturation vérifie que la version retenue reste admissible. Dans ce service fictif, le contrat accepte qu'une facture porte l'adresse de la version vérifiée juste avant l'émission. À 9 h 04, la facturation relit la version du dossier C42 : c'est toujours la version 1, et la facture part. Si l'adresse avait été corrigée entre-temps, le dossier serait passé en version 2, et le brouillon aurait été repris avec la nouvelle adresse.

Ce contrat accepte une petite fenêtre : une correction arrivée entre la vérification et l'émission vaudra pour la facture suivante. Si le métier exige au contraire l'identité en vigueur à l'instant même de l'émission, « lire le dossier, puis écrire la facture » ne suffit plus, puisque le dossier peut changer entre les deux. L'émission doit alors se coordonner avec le dossier client, et cette coordination peut elle-même bloquer quand le dossier ne répond pas. C'est au métier de dire laquelle des deux exigences s'applique.

L'index en retard n'a gêné aucune de ces étapes, puisque le brouillon et l'émission lisent le dossier client. Le cas change si c'est le dossier lui-même qui ne répond plus, parce que sa base est indisponible ou, entre deux services, parce que le réseau ne passe plus. L'information qui fait autorité manque alors vraiment. Le brouillon reste possible, marqué incomplet, mais l'émission est refusée tant que l'identité et l'adresse ne sont pas vérifiées. Ce refus protège l'invariant au prix du service.

Pour traduire ces choix dans une API, le cas d'une boutique montre quelle réponse HTTP donner face au retard des données ou à une panne : une copie datée, un refus ou une demande différée avec suivi.

Trois conduites, choisies selon ce qu'une erreur coûterait

Les quatre opérations utilisent les mêmes données ; ce qui les sépare, c'est la conséquence d'une erreur pour le métier. Elles se rangent en trois conduites :

ConduiteComportementDans la facturationAilleurs
BloquerAttendre ou refuser tant qu'une règle ne peut pas être vérifiéeRefuser l'émission quand le dossier client ne répond pasNe pas confirmer une action irréversible sans l'autorisation requise
Limiter le serviceDonner une réponse utile avec une limite visibleRecherche datée au-delà de 60 secondes de retard ; brouillon marqué incompletAfficher un stock daté, sans garantir la réservation
Accepter le décalageContinuer avec une mise à jour prévue plus tardTotal du mois, dans la limite de cinq minutes de retardPrésenter un compteur de consultations légèrement en retard

Une même opération peut changer de conduite avec la durée de l'incident. La recherche accepte un retard de quelques secondes, puis limite son service au-delà de 60 secondes ; elle pourrait même devenir indisponible si sa copie était trop ancienne pour servir. Le schéma suivant montre la même grille sur un débit, un affichage de solde et un compteur de vues, pendant une partition cette fois :

Trois conduites pendant une partition : refuser un débit si sa règle ne peut être vérifiée, afficher un solde daté avec sa limite, accepter le retard contractuel d’un compteur de vues.
Pendant une partition, chaque opération reçoit sa conduite selon l'invariant en jeu.

Discutez aussi des erreurs que le métier accepte de corriger après coup. Dans son retour sur CAP, Eric Brewer prend l'exemple des distributeurs de billets. Coupés de leur banque, ils ne refusent pas tout retrait : ils plafonnent le montant net retiré, par exemple à 200 dollars, ce qui borne le risque. Si un compte se retrouve à découvert, la banque régularise ensuite, en facturant des frais et en attendant le remboursement. Le plafond limite le service, et la régularisation est une correction prévue d'avance. C'est un compromis propre à ce métier, pas une règle applicable à tous les paiements.

Ces conduites se décident opération par opération. Aucune des deux étiquettes, « cohérente » ou « disponible », ne décrit donc la facturation : une seule application contient ici les trois conduites. Martin Kleppmann va dans le même sens quand il demande d'abandonner les étiquettes CP et AP au profit de termes plus précis pour raisonner sur les compromis.

Pour réparer, savoir où le retard est né

L'alerte de 9 h 01 a prévenu l'équipe. Avant de réparer, celle-ci doit savoir d'où vient le retard, car chaque origine a sa réparation. Des données peuvent arriver en retard à plusieurs frontières d'un système :

Cinq frontières et leurs difficultés possibles : mises à jour séparées entre domaines, projection différée en CQRS, tâche de fond ou cache entre modules, communication interrompue entre services, lenteur ou indisponibilité d’un fournisseur. Une frontière de module n’est pas à elle seule une partition réseau.
Les frontières de communication demandent des choix de reprise et de cohérence. CAP concerne le cas d’une partition entre composants distribués ; une frontière de module n’est pas, à elle seule, une partition.
  • Entre domaines métier. La facturation et la gestion des clients peuvent mettre à jour leurs informations séparément.
  • Entre écriture et lecture. Avec CQRS, une vue préparée pour un écran peut être actualisée après la modification des données de référence.
  • Entre modules. Une tâche de fond ou un cache peut introduire du retard, même sans séparation en services.
  • Entre services. Une panne de communication peut empêcher une vérification ou une mise à jour.
  • Avec un fournisseur externe. Une passerelle de paiement ou un service de messagerie peut devenir lent ou indisponible.

Ces origines ne se réparent pas de la même façon. Un traitement de fond en erreur, comme ce matin, se corrige puis rejoue les changements qu'il a manqués. Une partition exige d'abord le rétablissement de la communication. Un cache mal invalidé demande encore une autre réparation. La grille des trois conduites sert à toutes ces frontières, dans une application d'un seul tenant comme entre services ; le diagnostic, lui, dépend de l'origine du retard.

Choisir le sens d'une dépendance détermine ce que chaque module connaît des autres. Il faut ensuite décider, pour chacune de ses opérations, ce qu'il fait lorsque l'information attendue n'arrive pas.

À 9 h 12, l'index a rattrapé son retard

L'erreur corrigée, le traitement de fond repart du dernier changement recopié, celui de 8 h 58, et rejoue les changements manqués. L'équipe ne ferme pas l'incident pour autant : elle vérifie d'abord que l'Atelier Morin et les autres clients créés pendant l'arrêt apparaissent dans l'index, et que le traitement a recopié les changements jusqu'au dernier enregistré dans le dossier client. Le total du mois est recalculé, puis rapproché de la source arrêtée au même point des données. Si une émission avait été refusée pendant l'incident, la demande serait réexaminée, et non renvoyée telle quelle par une file vidée à l'aveugle.

Voici le contrat que la facturation a appliqué ce matin-là. Ses seuils sont ceux d'un service fictif : ils donnent l'exemple d'un contrat discutable et testable, et d'autres services choisiront d'autres valeurs.

OpérationSource et fraîcheurSi l'information manqueRetour à la normale
Rechercher un clientIndex de recherche ; retard admis de 60 sAfficher les résultats datés ; distinguer « absent de l'index » de « inexistant »Rejouer les changements, puis contrôler les clients récemment créés
Préparer un brouillonDossier client, ou version identifiée de ce dossierEnregistrer le brouillon comme incomplet ; aucune émissionCompléter le brouillon avec la version du dossier retenue
Émettre la factureIdentité et adresse acceptées pour cette facture ; règle vérifiée au moment d'émettreRefuser l'émission tant que les conditions requises ne sont pas établiesRéexaminer la demande, sans vider une file à l'aveugle
Afficher le total du moisProjection comptable ; retard admis de 5 minAfficher jusqu'où vont les données prises en compte, sans présenter le total comme définitifRattraper, puis rapprocher le total de la source arrêtée au même point des données

L'Atelier Morin a été absent de la recherche pendant une douzaine de minutes, et sa première facture est pourtant partie à la bonne adresse. La recherche a répondu en disant jusqu'à quand sa copie était à jour, le brouillon et l'émission ont lu le dossier qui fait autorité, et le total du mois a attendu sa mise à jour. Aucune de ces opérations n'avait besoin d'une copie parfaitement à jour ; chacune avait besoin de savoir quelle information fait foi pour elle, et que faire quand cette information manque.

Sources

Explorer

Sur le même sujet

Choisis dans l’index d’après les étiquettes de cet article — les plus proches d’abord, hors de sa série. Rien n’est écrit à la main : un article publié demain avec les mêmes étiquettes y prendra place.

Laisser un commentaire

Elle n'est jamais affichée ni publiée. Elle sert à regrouper vos commentaires et, si vous vous inscrivez un jour avec elle, à vous les rendre.

Votre commentaire sera relu avant d'être publié.