Préparation des agents : comment préparer votre site pour le Web agent

Pourquoi la préparation des agents est désormais son propre problème

Pendant des années, le seul visiteur pour lequel vous deviez concevoir était un humain doté d’un navigateur. Puis le crawler de Google est apparu et le SEO est devenu une discipline. Puis les LLM crawl sont arrivés et les Answer Engine Optimization sont devenus la prochaine chose dont vous avez dû vous soucier.

Aujourd’hui, un troisième type de visiteur est présent. Les agents basés sur les modèles OpenAI, Anthropic et Google parcourent les sites avec intention. Ils lisent les pages de produits, remplissent des formulaires, négocient les prix et appellent des API. Ils décident également, dans la première ou les deux premières secondes, si votre site vaut l’aller-retour.

Les agents se comportent moins comme des crawlers que comme des utilisateurs expérimentés et impatients. Ils vérifient les chemins /.well-known/ avant de toucher votre code HTML. Ils envoient Accept: text/markdown pour ignorer votre navigation. Ils recherchent une carte de serveur MCP afin de pouvoir communiquer avec votre application comme un outil et non comme un document. Si ces signaux manquent, l’agent se contente soit de supprimer votre code HTML (lent et avec perte), soit de s’adresser à un concurrent qui parle sa langue.

C’est pour cela que nous avons construit le Agent Protocol Readiness Checker. Il ne s’agit pas d’un audit SEO. Il s’agit d’un audit protocolaire. Il vérifie si votre site est prêt à être utilisé par un agent plutôt que lu par une personne.

Ce que fait le vérificateur de préparation du protocole d’agent

Donnez à l’outil un URL. Il exécute plus de 20 enquêtes sur votre origine et regroupe les résultats en cinq catégories notées :

• Détectable. Les agents peuvent-ils trouver vos en-têtes robots.txt, sitemap et Link ?
• Accessibilité du contenu. Votre serveur honore-t-il Accept: text/markdown comme le décrit la spécification acceptmarkdown.com ?
• Contrôle d’accès des robots. Avez-vous rédigé une politique explicite pour GPTBot, ClaudeBot, Google-Extended et PerplexityBot ? Avez-vous publié un répertoire de clés d’authentification Web Bot ?
• Découverte de protocole. Exposez-vous une carte de serveur MCP, un manifeste de compétences d’agent, un catalogue d’API RFC 9727, des métadonnées de découverte OAuth et des annotations d’outil WebMCP ?
• Agentic Commerce. Un agent peut-il vous payer ? Le vérificateur recherche les signaux x402, ACP, UCP et MPP.

Chaque vérification renvoie une réussite, un avertissement ou un échec, avec les preuves du serveur derrière le verdict. Les échecs sont regroupés dans une liste de recommandations hiérarchisées et les catégories sont combinées dans une note pondérée de A à F. L’objectif n’est pas un autre score de vanité. L’objectif est de vous proposer les six correctifs qui changeront le plus la façon dont les agents traitent votre site.

Examinons ce que chaque catégorie mesure réellement et pourquoi c’est important.

1. Découvrabilité : les bases qui décident encore de tout

Avant qu’un agent puisse utiliser quelque chose de plus sophistiqué, il doit savoir ce qui existe à votre origine. Cela commence par trois fichiers simples.

robots.txt

Le vérificateur récupère /robots.txt et confirme qu’il a renvoyé une réponse valide. RFC 9309 est la norme formelle depuis 2022, et un agent qui ne peut pas lire votre fichier robots suppose le pire : que vous n’avez pas du tout pensé à l’accès aux machines. Si vous ne faites qu’une seule chose à partir de cet article, publiez un robots.txt valide. Notre Robots.txt Validator détecte les erreurs courantes (nomenclatures parasites, pièges génériques, directives Sitemap non citées).

Déclaration Sitemap

Un sitemap chez /sitemap.xml, c’est sympa. Une ligne Sitemap: à l’intérieur de robots.txt qui pointe vers ce fichier est préférable, car les agents résolvent d’abord le fichier robots. Le vérificateur récompense les sites qui font les deux.

Lier les en-têtes de réponse

Les agents modernes lisent également l’en-tête Link sur votre page d’accueil pour obtenir des conseils sur les ressources de /.well-known/*. Les sites qui desservent, par exemple, Link: </.well-known/mcp/server-card.json>; rel="mcp-server-card" donnent à un agent sa prochaine étape sans deuxième aller-retour. Si vous voulez voir quels en-têtes votre origine envoie aujourd’hui, exécutez-les via notre HTTP Header Checker.

La découvrabilité est une petite catégorie (15 % de la note finale), mais les échecs se cascadent ici. Si les robots sont défectueux, la catégorie d’accès aux robots ne peut pas être vérifiée. Si les en-têtes de lien sont manquants, les catégories en aval doivent deviner.

2. Accessibilité du contenu : les contrôles de négociation MarkdownC’est la catégorie dans laquelle la plupart des sites échouent. Il s’avère également que c’est le plus simple à réparer.

La proposition acceptmarkdown.com est simple : lorsqu’un client envoie Accept: text/markdown, le serveur doit renvoyer le même contenu que Markdown au lieu du HTML. Les agents adorent cela car le HTML est bruyant. Supprimer le chrome, la navigation et le JavaScript d’une page consomme des jetons et introduit des erreurs. Une représentation Markdown de votre article est deux fois plus petite et dix fois plus facile à analyser.

Le vérificateur exécute quatre sondes sur votre URL :

1. Accept: text/markdown est honoré. Le serveur doit renvoyer Content-Type: text/markdown; charset=utf-8. Une déclaration UTF-8 est importante car les agents transmettent le corps à un tokenizer qui assume l’encodage.
2. Vary: Accept est défini. Sans cet en-tête, un CDN qui a mis en cache la réponse HTML servira ce code HTML au prochain agent demandant Markdown. Un en-tête manquant corrompt une origine entière pour chaque client IA derrière le même CDN.
3. Les types d’acceptation non pris en charge renvoient 406. Si un agent envoie Accept: application/x-weird-type, la bonne réponse est 406 Not Acceptable, et non une solution de secours HTML silencieuse. Le retour de 406 indique à la logique de nouvelle tentative de l’agent qu’il a demandé la mauvaise chose.
4. Les valeurs q sont respectées. Un agent qui envoie Accept: text/html;q=0.1, text/markdown;q=1.0 dit : “Je prendrai HTML s’il le faut, mais je préfère fortement Markdown.” Le serveur doit honorer cette pondération.

La plupart des origines obtiennent zéro sur quatre dans cette catégorie. Un travailablelleur CDN qui transforme le HTML en Markdown à la demande corrige les quatre en un après-midi. Le gain s’accroît : chaque agent qui accède à votre site à partir de ce moment-là obtient une représentation claire et symbolique de votre contenu. Pour en savoir plus sur la manière dont les agents lisent le contenu adapté à l’IA, consultez notre AI Readiness Checker.

3. Contrôle d’accès des robots : dire oui clairementLe robots.txt par défaut ne dit rien sur les agents IA. Le silence est interprété de deux manières, selon l’agent. Certains supposent que le silence signifie « bien, continuez ». D’autres supposent que le silence signifie “ce site n’a pas accepté”. Les deux interprétations vous blessent, car aucune ne correspond à ce que vous voulez réellement.

Le vérificateur de préparation du protocole d’agent recherche trois signaux explicites.

Agents utilisateurs de robots IA dans robots.txt

Le vérificateur recherche dans votre robots.txt les règles ciblant les crawlers qui comptent aujourd’hui : GPTBot, ChatGPT-User, OAI-SearchBot, ClaudeBot, Claude-Web, anthropic-ai, Google-Extended, PerplexityBot, Perplexity-User, Meta-ExternalAgent, Applebot-Extended, Bytespider, CCBot, cohere-ai, DuckAssistBot, Amazonbot, MistralAI-User. Trois agents nommés ou plus obtiennent un laissez-passer. Une liste plus courte mérite un avertissement. Zéro mérite un échec, car à ce stade, vous n’avez aucune politique en matière d’IA.

Écrire User-agent: GPTBot suivi de Allow: / n’est pas la même chose que ne rien dire. Il s’agit d’un engagement public selon lequel l’agent d’une entreprise spécifique peut lire votre site selon une règle spécifique. Cet engagement est déterminant lorsque le moteur de politique d’un agent décide de vous récupérer ou non.

Si vous souhaitez sonder le comportement actuel d’un robot IA spécifique par rapport à l’un de vos chemins, notre AI Bot Path Tester simulera la demande par rapport aux règles de votre robots.txt en direct.

Signaux de contenu Cloudflare

Cloudflare a proposé Content Signals fin 2025 : trois directives (search, ai-input, ai-train) qui se trouvent à l’intérieur de robots.txt et déclarent des politiques distinctes pour crawling, la récupération pour réponse et la formation. Le vérificateur analyse votre fichier robots à la recherche de toute directive Content-Signal:. Un seul suffit pour réussir.

Les signaux de contenu sont importants car le « bloc GPTBot » est un instrument brutal. Il bloque la formation, la récupération et les réponses fondées d’un seul coup. Les signaux de contenu vous permettent d’autoriser des réponses fondées (afin que votre marque apparaisse dans les citations ChatGPT) tout en bloquant la formation (afin que votre contenu ne soit pas compressé dans les pondérations d’un modèle).

Authentification des robots Web

Web Bot Auth est la pièce la plus récente de cette catégorie. Les agents signent leurs demandes avec une paire de clés Ed25519. La clé publique est détectable sur /.well-known/http-message-signature-directory en tant que JWKS. Lorsqu’un agent accède à votre serveur, vous vérifiez la signature par rapport à la clé publiée et savez avec certitude quel agent a envoyé la demande.

Le vérificateur sonde ce répertoire et confirme qu’il renvoie JSON. Si vous n’en avez pas publié, vous ne pouvez pas distinguer un agent légitime d’un scraper portant son user-agent. Le dossier de sécurité à lui seul est convaincant. Le cas pratique est plus vaste : les agents qui prennent en charge Web Bot Auth bénéficient de limites de débit inférieures et ont accès à une plus grande partie de votre site. Les clés publiées sont remboursées immédiatement.

4. Découverte de protocoles : les points de terminaison bien connusC’est le cœur de l’outil et la catégorie qui a le plus de poids (25% de la note finale). C’est également la partie de la pile d’agents qui change tous les mois, de sorte que le vérificateur s’appuie sur des points de terminaison bien spécifiés plutôt que sur des astuces spécifiques au fournisseur.

Carte serveur MCP

Le Model Context Protocol permet à Claude, ChatGPT et une liste croissante d’agents de découvrir des outils appelables sur un serveur distant. La carte serveur MCP sur /.well-known/mcp/server-card.json annonce le nom, les capacités, le transport et le modèle d’authentification de votre serveur. Le vérificateur sonde ce chemin et revient à /.well-known/mcp.json s’il est manquant.

Si votre produit dispose d’un type d’API, une carte serveur MCP est le moyen qui transforme votre site d’un document en un outil. Un agent qui trouve une carte serveur arrête le scraping et commence à l’invoquer. C’est une meilleure expérience pour l’utilisateur et une interaction moins coûteuse pour vous.

Compétences des agents

Agent Skills est un format de manifeste plus récent hébergé sur /.well-known/agent-skills/index.json. Il complète MCP en décrivant les flux de travailablel utilisables par les agents, et pas seulement les outils : « créer un envoi », « effectuer un remboursement », « rechercher une réservation ». Le vérificateur sonde ce chemin et recherche une réponse valide.

Si votre site publie déjà une spécification OpenAPI ou une carte serveur MCP, la génération d’un manifeste de compétences d’agent est principalement un exercice de traduction. Le retour sur investissement est que Claude Code et des clients similaires présenteront vos compétences aux utilisateurs par leur nom.

###WebMCP

WebMCP est le cousin côté navigateur de MCP. Au lieu de promouvoir des outils via un /.well-known/ URL, vous annotez les éléments <form> directement dans votre HTML avec les attributs toolname et tooldescription, ou déclarez des outils via une balise <meta name="webmcp" ...>. Le vérificateur analyse le code HTML de votre page d’accueil à la recherche de l’un ou l’autre modèle.

L’avantage est qu’un agent utilisant votre page dans un navigateur peut découvrir et appeler ces outils sans quitter l’onglet. WebMCP est une petite quantité de balisage pour une grande maîtrise des agents.

Catalogue d’API (RFC 9727)

RFC 9727 définit /.well-known/api-catalog comme un pointeur vers toutes les API exposées par votre origine, servies en tant que application/linkset+json. Le vérificateur confirme que le point de terminaison existe et que son type de contenu est correct. De nombreuses origines reçoivent ici un avertissement : elles servent le chemin, mais avec application/json au lieu de application/linkset+json. La correction du type de contenu est un en-tête sur une route.

Découverte OAuth

Deux spécifications comptent ici :

• RFC 8414 décrit les métadonnées du serveur d’autorisation OAuth sur /.well-known/oauth-authorization-server. Cela indique à un agent comment démarrer un flux OAuth contre votre émetteur.
• RFC 9728 décrit les métadonnées des ressources protégées OAuth sur /.well-known/oauth-protected-resource. Cela indique à un agent, lorsqu’il atteint un 401 de votre API, auprès de quel émetteur s’authentifier et quelles étendues demander.

Un agent qui ne peut pas effectuer de découverte OAuth ne peut pas automatiser une action de connexion sur votre site sans intervention humaine. Si votre produit dispose d’un compte utilisateur, publiez les deux.

5. Commerce agent : un agent peut-il vous payer ?Il s’agit de la catégorie la plus récente et celle qui suscite le plus de réticences de la part des sceptiques. La question qui se cache derrière est simple : lorsqu’un agent souhaite acheter quelque chose chez vous au nom de son utilisateur, à quoi ressemble cette transaction ?

Le vérificateur mesure quatre réponses concurrentes.

###x402

x402 rétablit le code d’état HTTP 402 (« Paiement requis ») et ajoute un en-tête PAYMENT-REQUIRED avec une offre lisible par machine : prix, devise, rails de paiement acceptés, point final de règlement. Un agent qui reçoit un 402 signe un paiement, soumet à nouveau la demande et obtient la ressource. Le vérificateur recherche un statut 402 ou un en-tête PAYMENT-REQUIRED sur votre page d’accueil et tout point de terminaison qu’il sonde.

x402 est l’option avec l’engagement le plus faible. Vous choisissez un point de terminaison payant, renvoyez un 402 avec les conditions et vous y êtes. Stripe, Coinbase et plusieurs fournisseurs de règlement crypto prennent aujourd’hui en charge le flux.

ACP (Protocole de Commerce Agent)

ACP est le standard d’OpenAI. Il se trouve chez /.well-known/agentic-commerce et décrit une surface de paiement plus complète : catalogue de produits, prix, taxes, expédition, retours. Si vous vendez des biens physiques ou numériques et que vous souhaitez que ChatGPT effectue des transactions directement avec votre magasin, ACP est la voie à suivre.

UCP (Protocole de Commerce Universel)

UCP s’appuie sur OAuth. Vous déclarez des étendues commerciales telles que ucp:scopes:checkout_session dans les métadonnées de votre serveur d’autorisation OAuth. Le vérificateur récupère votre document OAuth AS et recherche toute valeur ucp:scopes:*. Un match rapporte une passe.

UCP est le protocole commercial le plus léger des quatre, car il réutilise la couche OAuth dont vous disposez déjà. Si vous expédiez des jetons pour quoi que ce soit, vous êtes à mi-chemin.

MPP (Protocole de paiement automatique)

MPP, annoncé sur /.well-known/machine-payments, est le plus général. Il s’agit moins de flux de paiement que de publicité sur les types de paiements de machine à machine acceptés par votre service : pièces stables, rails bancaires de compte à compte, comptage par jeton.

Une note de passage en commerce ne nécessite pas les quatre. Il en faut au moins une, car « les agents peuvent vous payer » est une capacité unique avec quatre normes en concurrence pour la posséder. Choisissez celui qui correspond à votre entreprise et expédiez-le.

Ce que signifie réellement le score final

L’outil combine les scores des cinq catégories en une note globale pondérée.

Catégorie	Poids
Découvrabilité	15%
Accessibilité du contenu	20%
Contrôle d’accès des robots	15%
Découverte du protocole	25%
Commerce Agent	25%

Les scores supérieurs à 85 donnent un A. Entre 70 et 84, un B. Les notes inférieures chutent rapidement, et c’est volontaire. Un site qui obtient un score dans la fourchette D n’est pas seulement imparfait pour les agents ; il leur est fonctionnellement invisible. Il ne fait pas de publicité pour les outils, ne sert pas Markdown, ne déclare pas de politique de robot et ne prend pas en charge les paiements agents. Pour la fraction du trafic déjà pilotée par des agents, ce site se lit comme un domaine parqué.

La plupart des sites que nous avons audités obtiennent une note comprise entre 10 et 30 lors de leur première exécution. C’est bien. L’outil est conçu pour vous rencontrer là où vous êtes et mettre en évidence les six changements les plus importants. La réparation de trois d’entre eux déplace généralement un site de F à C en moins d’une journée.

Comment exécuter le contrôle

Accédez au Agent Protocol Readiness Checker, collez un URL et attendez environ dix secondes. La page de résultats comprend :

• Votre score global et votre note lettre.
• Les cinq catégories obtiennent des scores avec un statut coloré par chèque.
• Les preuves brutes (en-têtes, codes d’état, sous-chaînes correspondantes) derrière chaque vérification, afin que vous puissiez vérifier la lecture de l’outil par rapport à vos propres journaux.
• Une liste de recommandations prioritaires des principaux correctifs.

Vous pouvez exécuter la vérification sur les domaines intermédiaires, les origines internes et la production. Il respecte les règles de sécurité sortantes URL et limite les lectures du corps à 512 Ko afin qu’un serveur mal configuré ne puisse pas brûler votre limite de débit.

Un ordre pratique pour arranger les chosesSi vous souhaitez un levage rapide, procédez comme suit :

1. Publiez un robots.txt valide avec des règles User-agent: explicites pour GPTBot, ClaudeBot, Google-Extended et PerplexityBot, ainsi qu’une directive Sitemap:. Validez-le avec notre Robots.txt Validator.
2. Ajoutez la négociation de contenu Markdown à votre périphérie CDN. Vérifiez l’en-tête Accept, convertissez le HTML en Markdown à la volée, définissez Content-Type: text/markdown; charset=utf-8 et Vary: Accept. Renvoie 406 pour les types non pris en charge.
3. Publiez un llms.txt à votre racine avec des pointeurs vers les pages que vous souhaitez le plus que les agents citent. Générez-le et validez-le avec notre LLMs.txt Generator and Validator.
4. Exposez une carte serveur MCP sur /.well-known/mcp/server-card.json. Même une carte minimale (nom, description, version, transport) débloque la découverte des agents.
5. Ajoutez des signaux de contenu à robots.txt. Une seule ligne déclarant ai-input: yes, ai-train: no suffit pour passer le contrôle et publier une véritable politique.
6. Publiez un JWKS d’authentification Web Bot afin que les agents légitimes puissent signer des demandes selon votre origine.

Cette liste représente environ deux jours de travailablel d’ingénieur pour une équipe avec un CDN normal et un serveur d’authentification normal. Il déplace un site de F à B et assure la pérennité de l’origine contre l’année suivante de désabonnement des protocoles d’agents.

À quoi ressemble l’état de préparation des agents en un an

La liste exacte des contrôles effectués aujourd’hui par l’outil ne sera pas celle qu’il effectuera dans douze mois. MCP ratifiera une spécification formelle de négociation de capacités. Les compétences d’agent fusionneront ou remplaceront des parties d’OpenAPI. ACP, UCP et MPP seront regroupés en des normes moins nombreuses et plus strictes. Nous ajouterons des sondes au fur et à mesure de leur atterrissage et les retirerons au fur et à mesure qu’elles deviennent par défaut.

Ce qui ne changera pas, c’est la forme du problème. Les agents décident dès les premières demandes si votre site vaut la peine d’être utilisé. Votre travailablel consiste à exposer, rapidement et clairement, ce que votre site peut faire et comment l’utiliser. Chaque signal recherché par le vérificateur est un raccourci qui permet à un agent de s’engager sur votre origine au lieu de l’abandonner.

Exécutez le Agent Protocol Readiness Checker sur votre page d’accueil. Corrigez les trois principales recommandations. Exécutez-le à nouveau. Regardez comment les agents traitent votre site différemment après l’arrivée de ces trois changements.

Lecture connexe

-The Complete Guide to Answer Engine Optimization (AEO) and GEO

• AI Readiness Checker pour la structure du contenu et la notation LLM crawl
• LLMs.txt Generator and Validator pour publier une carte propre de votre site vers des modèles linguistiques
• HTTP Header Checker pour vérifier les agents Vary, Link et les en-têtes de type de contenu dont dépendent