Article

Accès des agents au Web : comprendre les blocages, licences et paiements

Les sites distinguent de plus en plus les robots de recherche, d’entraînement et les agents personnels. Voici les règles d’accès et leurs effets sur la lecture.

Vous demandez à votre agent de comparer trois analyses publiées sur un même sujet par trois sites, A, B et C. Il peut lire la première ; la deuxième exige une licence, puis un paiement ; la troisième lui est refusée. Ces sites appliquent des règles d’accès différentes, qui répondent à des questions distinctes : où trouver le contenu, quels usages il autorise, à quel prix et pour quel demandeur. La réponse de l’agent doit rendre compte de ces trois issues, car un document qu’il n’a pas pu lire ne devient pas une source consultée.

L’article part de la distinction que font aujourd’hui les sites entre les usages automatisés de leurs pages, suit ensuite l’agent chez A, chez B et chez C, puis passe du côté de l’éditeur qui a fixé ces règles et doit en mesurer l’effet.

Les sites distinguent l’usage avant le robot

Cloudflare, un service placé entre les sites qui l’emploient et leurs visiteurs, distingue trois raisons pour lesquelles un robot lit une page, dans un billet du 1er juillet 2026. La recherche collecte ou indexe un contenu pour répondre plus tard à des questions. L’entraînement prend ce contenu pour entraîner ou affiner un modèle. L’agent agit, généralement en temps réel, pour le compte d’une personne qui veut accomplir une tâche immédiate. Cloudflare permet de régler ces trois catégories séparément ; il a aussi annoncé qu’à partir du 15 septembre 2026, les domaines nouvellement inscrits chez lui bloqueraient par défaut l’entraînement et les agents sur les pages qui affichent de la publicité, la recherche restant permise.

Les exploitants de modèles font la même distinction de leur côté. OpenAI documente trois robots, dans sa page consultée le 20 octobre 2026 : GPTBot pour l’entraînement, OAI-SearchBot pour la recherche et ChatGPT-User pour les actions qu’un utilisateur déclenche. Un éditeur peut ainsi accepter une lecture ponctuelle demandée par une personne et refuser une collecte pour l’entraînement. Il peut aussi limiter le nombre de requêtes pour protéger son service. Ces décisions répondent à des besoins différents : le droit d’usage du contenu, son financement et la disponibilité du site.

L’agent de l’exemple, fictif, appartient à la troisième catégorie : il lit pour vous, maintenant. Son mandat, l’autorisation que vous lui avez donnée pour cette tâche, permet de consulter mais pas d’acheter. Avant chaque requête, le harnais, c’est-à-dire le programme qui exécute les requêtes que propose le modèle et lui en rapporte les résultats, vérifie que la politique fixée par vous ou votre organisation permet cet usage. Il lit ensuite les conditions du site.

Chez A : trouver la page ne dit pas ce qui est permis

A publie un fichier llms.txt, une proposition de Jeremy Howard de septembre 2024 : un fichier Markdown placé à la racine du site, qui donne aux modèles un aperçu du site et des liens vers ses pages détaillées. L’agent y trouve le lien vers l’analyse et le suit. Cet index aide à trouver le contenu ; il ne donne ni une autorisation, ni une garantie de fraîcheur ou d’exhaustivité. Le harnais conserve l’adresse, la date de récupération et, si le site la fournit, la version du document : ce sont les éléments qui permettront de citer A.

A publie aussi un fichier robots.txt. Le protocole robots.txt, normalisé par la RFC 9309 en septembre 2022, permet à un site de déclarer des règles de collecte aux robots. La RFC précise elle-même que ces règles ne sont pas une forme d’autorisation d’accès et ne remplacent pas des mesures de sécurité : elles sont suivies par les robots qui choisissent de les lire. Pour un agent qui agit à la demande d’une personne, la question se pose encore autrement. OpenAI écrit que, les actions de ChatGPT-User étant déclenchées par un utilisateur, les règles de robots.txt « peuvent ne pas s’appliquer ». Un éditeur qui veut empêcher l’accès doit donc appliquer un contrôle sur son serveur ou chez un intermédiaire.

La réciproque vaut pour l’agent : réussir un téléchargement ne prouve pas que tous les usages du contenu sont permis. A peut accepter que l’analyse soit lue pour répondre à une personne et refuser qu’elle serve à l’entraînement.

Chez B : une licence, puis un prix

B publie ses conditions avec Really Simple Licensing (RSL), dont la spécification 1.0 date du 10 décembre 2025. RSL décrit en XML les usages qu’un site permet ou interdit, par exemple l’entraînement (ai-train), l’emploi du contenu comme entrée d’un modèle qui rédige une réponse (ai-input) ou l’indexation pour la recherche (search), ainsi que le paiement attaché à chaque usage. Le harnais doit lire la licence, vérifier qu’elle couvre l’usage demandé, ici une lecture pour répondre à une personne, puis suivre le mécanisme d’accès proposé. La présence de ce fichier ne signifie pas que tous les agents savent l’interpréter ou appliquer ses conditions.

Supposons que la licence de B demande un paiement par lecture. Le mandat ne permet pas de payer : l’agent s’arrête à cette étape et vous présente le prix et le contenu auquel il donnerait accès. C’est à vous de décider, et si vous acceptez, votre accord porte sur ce prix et sur ce document, pas sur tous les achats que l’agent pourrait juger utiles (ce que couvre un accord donné à un agent). L’agent ne doit ni acheter de sa propre initiative ni annoncer que l’analyse de B est moins intéressante faute d’avoir pu la lire.

Reste à savoir comment le prix parvient à l’agent. HTTP prévoit un code 402 Payment Required, mais la RFC 9110, §15.5.3, le déclare « réservé pour un usage futur » : à lui seul, il ne dit ni qui payer, ni selon quelle licence, ni avec quelle preuve de règlement. Le dispositif Pay per crawl, présenté par Cloudflare le 1er juillet 2025, répond à ces questions pour ses seuls participants. Le site, par l’intermédiaire de Cloudflare, renvoie 402 avec le prix dans un en-tête crawler-price ; le robot peut annoncer d’emblée le montant maximal qu’il accepte ; il doit s’être enregistré et signer ses requêtes par signatures de messages HTTP, le mécanisme que présente plus bas chez C le projet Web Bot Auth ; Cloudflare encaisse en tant que marchand officiel et reverse les sommes aux éditeurs. Sa documentation, mise à jour le 28 juillet 2026 et consultée le 20 octobre 2026, le décrit encore comme une bêta fermée. Le seul code 402 ne fournit pas ce protocole à un robot extérieur et ne lui permet pas de payer : celui-ci doit connaître le dispositif et y être admis.

Payer une récupération et payer un usage sont deux choses différentes. Un contenu conservé peut alimenter plusieurs réponses sans nouveau téléchargement ; facturer ses récupérations ne mesure donc pas le nombre de fois où il contribue à une réponse. RSL distingue d’ailleurs un paiement à chaque collecte (crawl) et un paiement à chaque contribution du contenu à une réponse générée (use). Le second suppose que quelqu’un compte ces contributions, ce qui reste à organiser ; l’article sur la visibilité et le revenu d’un éditeur compare ces unités.

Chez C : reconnaître la clé ne vaut pas autorisation

C refuse l’accès automatisé. Pour appliquer une règle différente selon le robot, un site peut lire le nom que celui-ci annonce dans l’en-tête User-Agent. Ce nom n’est qu’une déclaration, que n’importe quel programme peut écrire ; il ne prouve pas non plus l’usage réel du contenu. Pour rendre l’identité vérifiable, le groupe de travail Web Bot Auth de l’IETF prépare un protocole de signature des requêtes, dont la révision 00 date du 1er septembre 2026. Le robot signe sa requête et indique l’adresse où il publie ses clés. Une signature valide prouve que le détenteur d’une clé publiée à cette adresse a signé la requête. Le projet précise qu’elle ne dit rien de qui exploite l’agent, de ses intentions ni de l’autorisation de la requête, et qu’il ne définit ni autorisation ni délégation (§4.1 et §4.6).

Dans l’exemple, C vérifie la signature, rattache la clé à un exploitant qu’il connaît, et refuse pourtant cet usage. Le harnais conserve ce refus. Changer d’identité affichée pour passer pour un autre client contournerait la décision de C sans obtenir son accord ; un agent qui agit pour une personne doit donc accepter ce refus plutôt que de se déguiser. Si C propose un accès contractuel ou une consultation par une personne, la réponse peut l’indiquer, sans prétendre avoir exercé cette possibilité.

La comparaison conserve ses lacunes

SourceÉtat constaté dans l’exempleCe que la réponse peut affirmer
ADocument récupéré ; adresse et date conservées, version si disponibleArguments ou conclusions de l’analyse, avec citation
BLecture payante, achat hors mandatPrix d’accès annoncé ; contenu de l’analyse non consulté
CAccès refuséComparaison incomplète ; aucune conclusion sur son contenu

La suite dépend de l’enjeu : demander l’accès manquant, vous laisser compléter les informations, ou limiter explicitement la comparaison à A. Pour que ce choix soit possible, le harnais doit transmettre au modèle l’état de chaque source, et pas seulement les textes obtenus. S’il ne transmet que le texte de A, le modèle risque de rédiger une comparaison assurée à partir d’un dossier incomplet.

Du côté de l’éditeur : mesurer l’effet de sa règle

Les règles de A, B et C ont chacune un coût pour celui qui les fixe. Un blocage peut réduire la charge du serveur, mais aussi la découverte du site. Une permission peut accroître les lectures sans apporter de visiteurs. Cloudflare a mesuré cet écart, du 19 au 26 juin 2025, en divisant le nombre de pages HTML demandées par les robots d’un exploitant par le nombre de visites que ses services ont renvoyées vers les sites. Le ratio allait de 70 900 pages par visite pour Anthropic à 0,1 pour Mistral, qui envoyait donc plus de visites qu’il ne demandait de pages. Ces ratios valent pour une semaine et pour les robots et sources de visites retenus. Les visites sont repérées par l’en-tête Referer, que l’application native de Claude n’envoie pas d’après Cloudflare, ce qui peut gonfler certains ratios dans une proportion inconnue. Ces ratios ne prédisent pas le revenu d’un éditeur particulier.

Pour savoir si sa règle produit l’effet attendu, un éditeur peut suivre la même chaîne que l’agent : quel client a demandé quelle page, pour quel usage déclaré, quel contrôle a répondu, avec quel résultat. Il rapproche ensuite ces lectures des visites et des résultats commerciaux qu’il peut effectivement observer. Le nom d’une catégorie « robots IA » ne suffit pas à régler cette politique.

Au terme de l’exemple, A a été lu et pourra être cité, B a fixé un prix que vous déciderez de payer ou non, et C a vérifié la signature de l’agent puis refusé l’usage. Ces trois issues ne disent rien de la qualité des trois analyses : elles disent ce que chaque site a permis. La réponse de votre agent les conserve, et les journaux de chaque éditeur lui permettent de vérifier si sa règle sert le but pour lequel il l’a fixée.

Explorer

Sur le même sujet

Choisis dans l’index d’après les étiquettes de cet article — les plus proches d’abord, hors de sa série. Rien n’est écrit à la main : un article publié demain avec les mêmes étiquettes y prendra place.

Laisser un commentaire

Elle n'est jamais affichée ni publiée. Elle sert à regrouper vos commentaires et, si vous vous inscrivez un jour avec elle, à vous les rendre.

Votre commentaire sera relu avant d'être publié.