Agent readiness : préparer votre site pour le Web agentique

Pourquoi le Web agentique a besoin de son propre audit

Une nouvelle catégorie de visiteur atteint désormais votre origine avant tout humain : un logiciel qui agit. Cloudflare a mesuré que le trafic des bots IA représentait 4,2 % de l’ensemble des requêtes HTML sur son réseau en 2025 (Cloudflare Radar 2025 Year in Review, 2025). Cette part achète, réserve et se connecte. L’Agent Protocol Readiness Checker vérifie si votre site est en mesure de la servir.

Points clés à retenir

• Les bots IA génèrent déjà environ 4,2 % des requêtes HTML sur le réseau de Cloudflare (Cloudflare Radar, 2025), et cette part ne cesse de croître.
• Les agents vérifient les chemins /.well-known/, la négociation de contenu et les clés d’authentification des bots avant même d’analyser votre HTML.
• Le checker note cinq couches : découverte, accès au contenu, identité, capacité et commerce.
• La plupart des sites obtiennent entre 10 et 30 à la première exécution. Trois correctifs ciblés suffisent généralement à atteindre la note de passage.
• Commencez par les lacunes au poids le plus élevé : la négociation Markdown et la découverte de protocole pèsent ensemble 45 % de la note.

Pensez à l’ordre dans lequel un agent moderne procède. Il n’ouvre pas votre page d’accueil pour la lire de haut en bas comme le ferait une personne. Il sonde. Il pose d’abord à votre serveur quelques questions précises : servez-vous du Markdown propre, publiez-vous un manifeste d’outils, acceptez-vous les requêtes signées, pouvez-vous encaisser un paiement ? Ce n’est que si ces sondes échouent qu’il se rabat sur l’extraction du HTML brut, une opération lente et avec perte.

Ce comportement d’exploration est la raison pour laquelle l’agent readiness constitue une discipline distincte. Le SEO ajuste la façon dont Google vous classe. L’Answer Engine Optimization ajuste la façon dont les assistants conversationnels vous citent. L’agent readiness ajuste quelque chose de différent : la capacité d’un logiciel à effectuer une transaction avec vous, tout simplement. Le checker est un audit de protocole, pas un audit de contenu. Il vous indique, couche par couche, là où un agent abandonne.

Que mesure l’Agent Protocol Readiness Checker ?

Le checker exécute plus de 20 sondes sur une URL et les regroupe en cinq couches notées, pondérées par impact. La découverte de protocole et le commerce agentique pèsent chacun 25 % de la note, l’accessibilité du contenu 20 %, et la découvrabilité et l’accès des bots 15 % chacun. Chaque sonde renvoie un statut réussite, avertissement ou échec, accompagné des preuves brutes du serveur.

Figure 1 : les cinq couches qu’un agent évalue, et le poids de chacune dans la note finale.

L’intérêt de cette structure en couches tient à la séquence. Un agent qui ne trouve pas votre robots.txt n’arrive jamais à la question de savoir si vous servez du Markdown. Un agent qui ne peut pas lire votre contenu proprement prend rarement la peine de vérifier si vous publiez des outils. Les échecs se propagent vers le bas, de sorte que les couches inférieures conditionnent tout ce qui se trouve au-dessus.

Capsule de citation

L’Agent Protocol Readiness Checker note cinq couches pondérées à travers plus de 20 sondes : la découvrabilité et l’accès des bots à 15 % chacun, l’accessibilité du contenu à 20 %, et la découverte de protocole plus le commerce agentique à 25 % chacun. Chaque sonde renvoie réussite, avertissement ou échec avec les preuves brutes du serveur. Les bots IA génèrent déjà 4,2 % des requêtes HTML (Cloudflare Radar, 2025).

Nous l’avons conçu parce que les outils existants répondent à la mauvaise question. La plupart des audits demandent « cette page va-t-elle se classer sur Google ? ». Il nous fallait un outil qui demande « un agent autonome peut-il utiliser cette origine sans humain ? ». Ce ne sont pas les mêmes sites. Une page peut très bien se classer et rester une impasse pour un agent de réservation.

Comment les agents découvrent-ils et lisent-ils votre site ?

La découverte et l’accès au contenu sont les deux premières couches, et elles déterminent si un agent réussit à démarrer. Les agents résolvent d’abord robots.txt, puis lisent les en-têtes de réponse Link à la recherche de pointeurs, puis négocient le type de contenu. La plupart des origines obtiennent zéro sur la négociation Markdown, alors qu’il s’agit du seul correctif offrant le meilleur rapport bénéfice/effort pour le trafic médiatisé par l’IA.

Figure 2 : le Web humain renvoie du HTML rendu. Le Web agentique renvoie du Markdown négocié en moins d’étapes.

Découvrabilité : les fichiers que les agents résolvent en premier

Trois fichiers simples préparent le terrain. Un robots.txt valide conforme à la RFC 9309, un sitemap vers lequel le fichier robots pointe avec une ligne Sitemap:, et des en-têtes de réponse Link sur votre page d’accueil qui signalent des ressources situées sous /.well-known/. Un agent qui lit Link: </.well-known/mcp/server-card.json>; rel="mcp-server-card" obtient son étape suivante gratuitement, sans aller-retour supplémentaire. Validez le fichier robots avec notre Robots.txt Validator, et inspectez ce que votre origine envoie aujourd’hui avec le HTTP Header Checker.

Accessibilité du contenu : servir du Markdown sur demande

C’est là que la plupart des sites échouent, et c’est le moins coûteux à corriger. La proposition acceptmarkdown.com prévoit que, lorsqu’un client envoie Accept: text/markdown, votre serveur doit renvoyer le même contenu en Markdown plutôt qu’en HTML. Le checker exécute ici quatre sondes.

D’abord, il confirme que le serveur honore l’en-tête et renvoie Content-Type: text/markdown; charset=utf-8. Ensuite, il vérifie la présence de Vary: Accept. Si vous omettez cet en-tête, un CDN peut servir un corps HTML mis en cache au prochain agent qui demande du Markdown, corrompant la réponse pour chaque client IA situé derrière ce cache. Troisièmement, un type Accept non pris en charge doit renvoyer un 406 Not Acceptable, et non un repli HTML silencieux. Enfin, le serveur doit respecter les valeurs q, afin que text/markdown;q=1.0, text/html;q=0.1 renvoie effectivement du Markdown.

Dans nos propres audits, la première exécution type obtient ici zéro sur quatre, et un seul worker CDN qui transforme le HTML en Markdown à la demande corrige les quatre en un après-midi. Ensuite, chaque agent récupère une copie propre et tokenisée de votre contenu au lieu de se battre avec les éléments de navigation. Pour le volet structure de contenu de cette question, notre AI Readiness Checker évalue la facilité d’analyse de vos pages.

Capsule de citation

La négociation de contenu Markdown suit la proposition acceptmarkdown.com : lorsqu’un client envoie Accept: text/markdown, le serveur renvoie du Markdown avec Content-Type: text/markdown; charset=utf-8 et Vary: Accept. Omettre Vary permet à un CDN de servir du HTML mis en cache aux agents qui demandent du Markdown, corrompant les réponses pour chaque client IA situé derrière ce cache.

Comment gérer l’accès et l’identité des bots IA ?

Le silence n’est pas une politique. Un robots.txt par défaut qui ne nomme aucun agent IA laisse chaque crawler deviner vos intentions, et les suppositions jouent contre vous. La couche d’accès des bots récompense les règles explicites, une politique distincte de signaux de contenu et un répertoire de clés Web Bot Auth publié, pour distinguer un véritable agent d’un scraper qui usurpe son nom.

GPTBot illustre l’intérêt d’être explicite. En comparant mai 2024 à mai 2025, la part de GPTBot dans le trafic combiné des crawlers IA et de recherche est passée de 2,2 % à 7,7 %, soit une hausse de 305 % en requêtes brutes, le faisant grimper du neuvième au troisième rang (Cloudflare, 2025). Quand un agent croît aussi vite, une règle globale « tout bloquer » vous coûte une portée bien réelle.

Nommer les agents dans robots.txt

Le checker recherche les règles ciblant les crawlers qui comptent aujourd’hui : GPTBot, ChatGPT-User, OAI-SearchBot, ClaudeBot, Google-Extended, PerplexityBot, Meta-ExternalAgent, Applebot-Extended, Bytespider, CCBot, Amazonbot, et d’autres. Trois agents nommés ou plus valent une réussite. Écrire User-agent: GPTBot puis Allow: / constitue un engagement public sur lequel un moteur de politique peut s’appuyer, ce qui diffère radicalement de ne rien dire. Si vous souhaitez confirmer le comportement des crawlers selon les versions, notre guide complémentaire sur GPTBot vs ChatGPT-User vs ClaudeBot détaille le rôle de chaque nom.

Séparer entraînement et récupération avec les Content Signals

La proposition Content Signals de Cloudflare ajoute trois directives à l’intérieur de robots.txt : search, ai-input et ai-train. Elles vous permettent d’autoriser les réponses fondées, afin que votre marque continue d’apparaître dans les citations IA, tout en refusant l’entraînement des modèles. Le checker valide la présence de toute directive Content-Signal:. Bloquer GPTBot purement et simplement est un geste brutal qui supprime d’un coup citations et entraînement. Notre analyse de ce qui bloque la visibilité IA dans robots.txt couvre les sur-blocages courants.

Vérifier les agents avec Web Bot Auth

Web Bot Auth permet aux agents de signer leurs requêtes avec une paire de clés Ed25519, en publiant la clé publique sous forme de JWKS à /.well-known/http-message-signature-directory. Le passage de la proposition à la production s’accélère : AWS WAF a annoncé la prise en charge de Web Bot Auth en novembre 2025 (AWS, 2025), avec Cloudflare, Anthropic et OpenAI derrière les travaux IETF sous-jacents. Le checker sonde ce répertoire et confirme qu’il renvoie du JSON. Sans lui, vous ne pouvez pas distinguer un agent légitime d’un usurpateur, et les agents vérifiés bénéficient de limites de débit plus basses et d’un accès plus large.

Quels protocoles permettent aux agents d’utiliser votre site comme un outil ?

La découverte de protocole est le cœur du checker et sa couche la plus lourde, à 25 %. Elle examine les points de terminaison /.well-known/ et les annotations dans la page qui transforment votre site d’un document en un outil appelable. Le point d’ancrage ici est le Model Context Protocol, qu’Anthropic a publié en open source le 25 novembre 2024 (Anthropic, 2024) et que OpenAI et Google ont adopté en l’espace d’un an.

MCP Server Card

Une MCP Server Card à /.well-known/mcp/server-card.json annonce le nom, les capacités, le transport et le modèle d’authentification de votre serveur. Le checker sonde ce chemin et se rabat sur /.well-known/mcp.json. Si votre produit dispose de la moindre API, une Server Card est le changement qui fait passer votre site de « à scraper » à « à invoquer ». Un agent qui trouve une carte cesse d’analyser le HTML et commence à appeler des fonctions, ce qui est moins coûteux pour vous et plus rapide pour l’utilisateur.

WebMCP pour les agents intégrés au navigateur

MCP suppose un monde de serveur à serveur, mais une grande partie de l’activité des agents se déroule désormais à l’intérieur d’un onglet de navigateur, et WebMCP comble cette lacune. Au lieu d’une URL /.well-known/, vous annotez directement les éléments <form> avec des attributs d’outil ou vous déclarez des outils via une balise <meta name="webmcp">, exposant des actions appelables à un agent déjà présent sur la page. La proposition est née en 2025 d’un effort conjoint de Google et Microsoft et a été acceptée par un Community Group du W3C, Chrome ayant livré un aperçu anticipé, considérez donc les numéros de version exacts comme des cibles mouvantes. Le checker analyse votre page d’accueil à la recherche de l’un ou l’autre modèle. La leçon pratique : si vos conversions ont lieu dans la page, le MCP côté serveur seul laisse les agents bloqués devant vos formulaires.

API Catalog et découverte OAuth

Deux autres surfaces de découverte complètent la couche. La RFC 9727 définit /.well-known/api-catalog comme un pointeur application/linkset+json vers chaque API que vous exposez. De nombreuses origines reçoivent ici un avertissement parce qu’elles servent le chemin avec application/json à la place, un correctif d’un seul en-tête. Vient ensuite la découverte OAuth : les métadonnées RFC 8414 à /.well-known/oauth-authorization-server indiquent à un agent comment démarrer un flux d’authentification, et les métadonnées RFC 9728 à /.well-known/oauth-protected-resource lui indiquent, sur un 401, quel émetteur et quelles portées utiliser. Sans découverte OAuth, aucun agent ne peut automatiser une action connectée sur votre site.

Capsule de citation

Le Model Context Protocol, publié en open source par Anthropic le 25 novembre 2024 (Anthropic, 2024), permet aux agents de découvrir des outils appelables via une MCP Server Card à /.well-known/mcp/server-card.json. En l’espace d’un an environ, OpenAI et Google l’ont adopté, faisant de MCP la couche de découverte de facto que l’Agent Protocol Readiness Checker sonde en premier.

Un agent peut-il réellement vous payer ?

Le commerce agentique est la couche la plus récente et pèse à égalité le plus lourd, à 25 %. La question est directe : lorsqu’un agent veut vous acheter quelque chose pour son utilisateur, à quoi ressemble cette transaction ? Adobe Analytics a constaté que les visites vers les sites de vente au détail américains depuis des sources d’IA générative avaient bondi de 1 200 % entre juillet 2024 et février 2025 (Adobe, 2025). Les renvois arrivent déjà. Le paiement doit être prêt.

Les enjeux deviennent plus importants à partir d’ici. Gartner prévoit que les agents IA intermédieront plus de 15 000 milliards de dollars de dépenses B2B d’ici 2028 (Gartner, via Digital Commerce 360, 2025). Une note de passage en commerce n’exige pas la prise en charge de toutes les normes. Elle en exige au moins une, car « un agent peut vous payer » est une capacité unique pour laquelle quatre protocoles se disputent la maîtrise.

x402 : la voie la moins engageante

x402 ressuscite le statut HTTP 402, « Payment Required », avec un en-tête d’offre lisible par machine qui indique le prix, la devise et le point de terminaison de règlement. L’agent reçoit le 402, signe un paiement, soumet à nouveau et obtient la ressource. L’adoption est réelle : le protocole x402 de Coinbase a dépassé les 100 millions de transactions cumulées sur le réseau Base début 2026 (Crypto Briefing, 2026), les chiffres on-chain provenant du projet plutôt que d’un auditeur neutre. Vous choisissez un point de terminaison payant, renvoyez un 402 assorti de conditions, et vous êtes opérationnel.

ACP : un paiement complet pour le commerce de détail

L’Agentic Commerce Protocol constitue la surface la plus complète. Stripe et OpenAI ont lancé ACP en même temps qu’Instant Checkout dans ChatGPT le 29 septembre 2025 (Stripe Newsroom, 2025), en commençant par les vendeurs Etsy américains et plus d’un million de marchands Shopify, dont Glossier, Vuori, Spanx et SKIMS. ACP réside à /.well-known/agentic-commerce et décrit le catalogue, les prix, la taxe, l’expédition et les retours. Si vous vendez des produits et souhaitez que ChatGPT effectue directement la transaction, c’est la bonne voie.

UCP et MPP : plus légers et plus généraux

Deux options à un stade plus précoce complètent la couche, et le checker les traite comme des normes émergentes plutôt qu’établies. UCP s’appuie sur OAuth : vous déclarez des portées commerciales comme ucp:scopes:checkout_session dans vos métadonnées OAuth, donc si vous émettez déjà des jetons, vous êtes à mi-chemin. MPP, annoncé à /.well-known/machine-payments, est le plus général : il décrit les rails machine-à-machine que vous acceptez, des stablecoins aux virements bancaires en passant par la facturation au jeton. Aucun ne dispose du fondement documenté et de source primaire que portent MCP, ACP et x402, alors définissez-les à partir de votre propre spécification et observez comment ils se consolident.

Comment lire la note et combler les lacunes ?

Le checker combine les cinq couches en une note pondérée de A à F. Les scores supérieurs à 85 valent un A, de 70 à 84 un B, et les notes inférieures chutent fortement, et c’est voulu : un site classé dans la tranche D n’annonce pas d’outils, ne sert pas de Markdown et n’accepte pas les paiements d’agents, de sorte que, pour le trafic piloté par les agents, il se lit comme un domaine parqué. Dans nos audits, la plupart des sites démarrent entre 10 et 30.

Couche	Poids
Découvrabilité	15 %
Accessibilité du contenu	20 %
Contrôle d’accès des bots	15 %
Découverte de protocole	25 %
Commerce agentique	25 %

Ce point de départ bas est attendu, et il est gérable. L’outil fait remonter les six correctifs au plus fort effet de levier, et en régler trois fait généralement passer un site de F à C en une journée.

Un ordre pratique pour tout corriger

Traitez les couches dans l’ordre des dépendances, afin que chaque correctif débloque le suivant.

1. Publiez un robots.txt valide avec des règles User-agent: explicites pour GPTBot, ClaudeBot, Google-Extended et PerplexityBot, ainsi qu’une ligne Sitemap:. Validez-le avec le Robots.txt Validator.
2. Ajoutez la négociation de contenu Markdown à la périphérie de votre CDN : honorez Accept: text/markdown, définissez Vary: Accept, renvoyez un 406 pour les types non pris en charge.
3. Publiez un llms.txt à la racine pointant vers les pages que vous souhaitez le plus voir citées par les agents. Générez-le et validez-le avec le LLMs.txt Generator + Validator, et consultez notre point de vue sur le fait d’avoir besoin ou non de llms.txt.
4. Exposez une MCP Server Card minimale à /.well-known/mcp/server-card.json pour que les agents puissent découvrir vos outils.
5. Ajoutez une directive Content Signals à robots.txt pour publier une véritable politique entraînement/récupération.
6. Publiez un JWKS Web Bot Auth pour que les agents vérifiés puissent signer leurs requêtes.

Sur l’ensemble des sites que nous avons passés dans le checker, cette séquence représente environ deux jours-ingénieur de travail sur une pile CDN et auth standard, et elle fait passer une origine de F à B de façon fiable. Pour confirmer que vos règles robots laissent réellement passer les crawlers, associez-la à notre guide sur comment vérifier si les crawlers IA peuvent accéder à votre site.

FAQ

L’agent readiness diffère-t-elle du SEO et de l’AEO ?

Oui. Le SEO ajuste le classement dans la recherche, et l’Answer Engine Optimization ajuste la façon dont les assistants conversationnels vous citent. L’agent readiness ajuste la capacité même d’un logiciel à effectuer une transaction avec votre origine : découvrir des outils, négocier le contenu, se connecter et payer. Une page peut bien se classer et rester une impasse pour un agent de réservation autonome.

Quel correctif offre le retour le plus rapide ?

La négociation de contenu Markdown. La plupart des sites y obtiennent zéro sur quatre, alors qu’un seul worker CDN qui honore Accept: text/markdown, définit Vary: Accept et renvoie un 406 pour les types non pris en charge corrige les quatre sondes en un après-midi. L’accessibilité du contenu pèse 20 % de la note, donc le rendement par heure est élevé.

Dois-je prendre en charge tous les protocoles de commerce ?

Non. La couche de commerce agentique se valide avec une seule norme, car « un agent peut vous payer » est une capacité unique pour laquelle quatre protocoles se disputent la maîtrise. Choisissez celui qui convient : x402 pour des points de terminaison payants peu engageants, ACP pour un paiement de détail complet, UCP si vous émettez déjà des jetons OAuth.

À quelle vitesse le trafic des agents augmente-t-il réellement ?

Rapidement. Les bots IA ont atteint 4,2 % des requêtes HTML sur le réseau de Cloudflare en 2025 (Cloudflare Radar, 2025), la part de crawler de GPTBot a augmenté de 305 % en requêtes brutes d’une année sur l’autre (Cloudflare, 2025), et les visites au détail depuis des sources d’IA générative ont bondi de 1 200 % en huit mois (Adobe, 2025).

Ces vérifications resteront-elles identiques l’année prochaine ?

Non, et c’est très bien ainsi. MCP formalisera la négociation des capacités, les détails de version de WebMCP bougent encore, et les protocoles de commerce vont se consolider. Nous ajoutons des sondes à mesure que les normes se concrétisent et les retirons lorsqu’elles deviennent la norme par défaut. La forme du problème, elle, demeure : exposez ce que votre site sait faire, clairement, dès les premières requêtes.

Que faire ensuite

Lancez l’Agent Protocol Readiness Checker sur votre page d’accueil, corrigez les trois principales recommandations, puis relancez-le et observez à quel point les agents traitent différemment votre origine. Les sondes sont gratuites, exécutées dans le navigateur, et renvoient les preuves brutes du serveur derrière chaque verdict.

À partir de là, deux guides complémentaires approfondissent le sujet. Lisez comment vérifier si les crawlers IA peuvent accéder à votre site pour confirmer que vos règles robots font bien ce que vous croyez, et le guide complet de l’Answer Engine Optimization pour rendre dignes de citation les contenus que ces agents atteignent.