Preparação do agente: como preparar seu site para a Agentic Web

Por que a prontidão do agente é seu próprio problema agora

Durante anos, o único visitante para o qual você precisava projetar era um ser humano com um navegador. Então o crawler de Google apareceu e SEO se tornou uma disciplina. Então LLM crawlers chegou e Answer Engine Optimization se tornou a próxima coisa com que você deveria se preocupar.

Agora, um terceiro tipo de visitante está aqui. Agentes criados nos modelos OpenAI, Anthropic e Google navegam em sites com intenção. Eles leem páginas de produtos, preenchem formulários, negociam preços e chamam APIs. Eles também decidem, nos primeiros dois segundos, se vale a pena visitar o seu site.

Os agentes se comportam menos como crawlers e mais como usuários avançados e impacientes. Eles verificam os caminhos /.well-known/ antes de tocar no seu HTML. Eles enviam Accept: text/markdown para pular sua navegação. Eles procuram uma placa de servidor MCP para que possam se comunicar com seu aplicativo como uma ferramenta, não como um documento. Se esses sinais estiverem faltando, o agente volta a raspar seu HTML (lento e com perdas) ou passa para um concorrente que fala sua língua.

Foi para isso que construímos o Agent Protocol Readiness Checker. Não é uma auditoria SEO. É uma auditoria de protocolo. Ele verifica se o seu site está pronto para ser usado por um agente em vez de lido por uma pessoa.

O que o verificador de prontidão do protocolo do agente faz

Dê à ferramenta um URL. Ele executa mais de 20 investigações contra sua origem e agrupa as descobertas em cinco categorias pontuadas:

• Capacidade de descoberta. Os agentes podem encontrar seus cabeçalhos robots.txt, sitemap e Link?
• Acessibilidade de conteúdo. Seu servidor respeita Accept: text/markdown da maneira que a especificação de acceptmarkdown.com descreve?
• Controle de acesso de bot. Você escreveu uma política explícita para GPTBot, ClaudeBot, Google-Extended e PerplexityBot? Você publicou um diretório de chaves do Web Bot Auth?
• Descoberta de protocolo. Você expõe uma placa de servidor MCP, um manifesto de habilidades do agente, um catálogo de API RFC 9727, metadados de descoberta OAuth e anotações de ferramentas WebMCP?
• Agentic Commerce. Um agente pode pagar a você? O verificador procura sinais x402, ACP, UCP e MPP.

Cada verificação retorna aprovação, aviso ou reprovação, com a evidência do servidor por trás do veredicto. As falhas são acumuladas em uma lista de recomendações priorizadas e as categorias são combinadas em uma nota ponderada de A a F. O objetivo não é outra pontuação de vaidade. O objetivo é apresentar a você as seis soluções que mais mudarão a forma como os agentes tratam seu site.

Vejamos o que cada categoria realmente mede e por que isso é importante.

1. Descoberta: o básico que ainda decide tudo

Antes que um agente possa usar algo mais sofisticado, ele precisa saber o que existe na sua origem. Isso começa com três arquivos simples.

###robots.txt

O verificador busca /robots.txt e confirma que retornou uma resposta válida. RFC 9309 tem sido o padrão formal desde 2022, e um agente que não consegue ler seu arquivo de robôs presume o pior: que você nem pensou no acesso à máquina. Se você fizer apenas uma coisa nesta postagem, publique um robots.txt válido. Nosso Robots.txt Validator detecta os erros comuns (BOMs perdidos, armadilhas curinga, diretivas Sitemap não citadas).

Declaração Sitemap

Um sitemap em /sitemap.xml é bom. Uma linha Sitemap: dentro de robots.txt que aponta para ela é melhor, porque os agentes resolvem o arquivo robots primeiro. O verificador recompensa os sites que fazem as duas coisas.

Cabeçalhos de resposta do link

Os agentes modernos também leem o cabeçalho Link em sua página inicial para obter dicas sobre recursos em /.well-known/*. Sites que atendem, por exemplo, Link: </.well-known/mcp/server-card.json>; rel="mcp-server-card" fornecem ao agente sua próxima etapa sem uma segunda viagem de ida e volta. Se você quiser ver quais cabeçalhos sua origem envia hoje, execute-o em nosso HTTP Header Checker.

A capacidade de descoberta é uma categoria pequena (15% da nota final), mas as falhas aqui se multiplicam. Se o robots estiver quebrado, a categoria de acesso ao bot não poderá ser verificada. Se os cabeçalhos do link estiverem faltando, as categorias posteriores terão que adivinhar.

2. Acessibilidade de conteúdo: as verificações de negociação de reduçãoEsta é a categoria na qual a maioria dos sites falha. Também é o mais fácil de consertar.

A proposta do acceptmarkdown.com é simples: quando um cliente envia Accept: text/markdown, o servidor deve retornar o mesmo conteúdo do Markdown em vez do HTML. Os agentes adoram isso porque o HTML é barulhento. Remover o cromo, a navegação e o JavaScript de uma página consome tokens e introduz erros. Uma representação Markdown do seu artigo tem metade do tamanho e é dez vezes mais fácil de analisar.

O verificador executa quatro testes em seu URL:

1. Accept: text/markdown é honrado. O servidor deve retornar Content-Type: text/markdown; charset=utf-8. Uma declaração UTF-8 é importante porque os agentes alimentam o corpo em um tokenizer que assume a codificação.
2. Vary: Accept está definido. Sem esse cabeçalho, um CDN que armazenou em cache a resposta HTML servirá esse HTML para o próximo agente solicitando Markdown. Um cabeçalho ausente corrompe uma origem inteira para cada cliente de IA atrás do mesmo CDN.
3. Tipos Accept não suportados retornam 406. Se um agente enviar Accept: application/x-weird-type, a resposta certa é 406 Not Acceptable, e não um substituto HTML silencioso. Retornar 406 informa à lógica de nova tentativa do agente que ele solicitou a coisa errada.
4. valores q são respeitados. Um agente que envia Accept: text/html;q=0.1, text/markdown;q=1.0 está dizendo “Vou usar HTML se for necessário, mas prefiro fortemente Markdown.” O servidor deve honrar esse peso.

A maioria das origens obtém zero de quatro nesta categoria. Um trabalhador CDN que transforma HTML em Markdown sob demanda corrige todos os quatro em uma tarde. A recompensa aumenta: cada agente que acessa seu site daquele ponto em diante obtém uma representação limpa e tokenizada de seu conteúdo. Para uma visão mais aprofundada de como os agentes leem conteúdo compatível com IA, consulte nosso AI Readiness Checker.

3. Controle de acesso de bot: dizer sim com clarezaO robots.txt padrão não diz nada sobre agentes de IA. O silêncio é interpretado de duas maneiras, dependendo do agente. Alguns presumem que silêncio significa “tudo bem, continue”. Outros presumem que silêncio significa “este site não ativou”. Ambas as interpretações prejudicam você, porque nenhuma delas corresponde ao que você realmente deseja.

O Agent Protocol Readiness Checker procura três sinais explícitos.

Agentes de usuário de bot AI em robots.txt

O verificador pesquisa seu robots.txt em busca de regras direcionadas aos crawlers que importam hoje: GPTBot, ChatGPT-User, OAI-SearchBot, ClaudeBot, Claude-Web, anthropic-ai, Google-Extended, PerplexityBot, Perplexity-User, Meta-ExternalAgent, Applebot-Extended, Bytespider, CCBot, cohere-ai, DuckAssistBot, Amazonbot, MistralAI-User. Três ou mais agentes nomeados ganham um passe. Uma lista mais curta merece um aviso. Zero é reprovado, porque nesse ponto você não tem nenhuma política de IA.

Escrever User-agent: GPTBot seguido de Allow: / não é o mesmo que não dizer nada. É um compromisso público que um agente de uma empresa específica possa ler o seu site sob uma regra específica. Esse compromisso é importante quando o mecanismo de política de um agente decide se deve buscá-lo.

Se você quiser investigar como um bot de IA específico se comporta atualmente em relação a um de seus caminhos, nosso AI Bot Path Tester simulará a solicitação de acordo com as regras em seu robots.txt ativo.

Sinais de conteúdo Cloudflare

A Cloudflare propôs Content Signals no final de 2025: três diretivas (search, ai-input, ai-train) que ficam dentro de robots.txt e declaram políticas separadas para crawling, recuperação para resposta e treinamento. O verificador verifica seu arquivo de robôs em busca de qualquer diretiva Content-Signal:. Basta um para passar.

Os sinais de conteúdo são importantes porque o “bloco GPTBot” é um instrumento contundente. Ele bloqueia o treinamento, a recuperação e as respostas fundamentadas de uma só vez. Os sinais de conteúdo permitem que você permita respostas fundamentadas (para que sua marca apareça nas citações ChatGPT) enquanto bloqueia o treinamento (para que seu conteúdo não seja compactado nos pesos de um modelo).

Autenticação de bot da Web

Web Bot Auth é a mais nova peça desta categoria. Os agentes assinam suas solicitações com um par de chaves Ed25519. A chave pública pode ser descoberta em /.well-known/http-message-signature-directory como um JWKS. Quando um agente chega ao seu servidor, você verifica a assinatura em relação à chave publicada e sabe com certeza qual agente enviou a solicitação.

O verificador investiga esse diretório e confirma que ele retorna JSON. Se você não publicou um, não poderá diferenciar um agente legítimo de um scraper que usa seu agente de usuário. O caso de segurança por si só é convincente. O caso prático é maior: os agentes que oferecem suporte ao Web Bot Auth obtêm limites de taxa mais baixos e acesso a mais do seu site. As chaves publicadas são pagas imediatamente.

4. Descoberta de protocolo: os endpoints bem conhecidosEste é o coração da ferramenta e a categoria com maior peso (25% da nota final). É também a parte da pilha de agentes que muda mensalmente, de modo que o verificador se baseia em endpoints bem especificados, em vez de truques específicos do fornecedor.

Placa de servidor MCP

O Model Context Protocol é como Claude, ChatGPT e uma lista crescente de agentes descobrem ferramentas que podem ser chamadas em um servidor remoto. A placa do servidor MCP em /.well-known/mcp/server-card.json anuncia o nome, os recursos, o transporte e o modelo de autenticação do seu servidor. O verificador investiga esse caminho e retorna para /.well-known/mcp.json se estiver faltando.

Se o seu produto possui algum tipo de API, uma placa de servidor MCP é a mudança que transforma seu site de documento em ferramenta. Um agente que encontra uma placa de servidor interrompe a coleta e começa a invocar. Essa é uma experiência melhor para o usuário e uma interação mais barata para você.

Habilidades do agente

Agent Skills é um formato de manifesto mais recente que reside em /.well-known/agent-skills/index.json. Ele complementa o MCP describing fluxos de trabalho utilizáveis ​​pelo agente, não apenas ferramentas: “criar uma remessa”, “solicitar um reembolso”, “procurar uma reserva”. O verificador investiga esse caminho e procura uma resposta válida.

Se o seu site já publica uma especificação OpenAPI ou uma placa de servidor MCP, gerar um manifesto de habilidades do agente é principalmente um exercício de tradução. O ROI é que Claude Code e clientes semelhantes divulgarão suas habilidades aos usuários pelo nome.

###WebMCP

WebMCP é o primo do MCP no lado do navegador. Em vez de anunciar ferramentas por meio de /.well-known/ URL, você anota elementos <form> diretamente em seu HTML com atributos toolname e tooldescription ou declara ferramentas por meio de uma tag <meta name="webmcp" ...>. O verificador verifica o HTML da sua página inicial em busca de qualquer padrão.

A vantagem é que um agente que usa sua página em um navegador pode descobrir e invocar essas ferramentas sem sair da guia. WebMCP é uma pequena quantidade de marcação para uma grande fluência do agente.

Catálogo de APIs (RFC 9727)

RFC 9727 define /.well-known/api-catalog como um ponteiro para todas as APIs que sua origem expõe, servidas como application/linkset+json. O verificador confirma que o endpoint existe e que seu tipo de conteúdo está correto. Muitas origens recebem um aviso aqui: elas servem o caminho, mas com application/json em vez de application/linkset+json. Corrigir o tipo de conteúdo é um cabeçalho em uma rota.

Descoberta OAuth

Duas especificações são importantes aqui:

• RFC 8414 descreve os metadados do servidor de autorização OAuth em /.well-known/oauth-authorization-server. Isso informa ao agente como iniciar um fluxo OAuth no seu emissor.
• RFC 9728 descreve metadados de recurso protegido OAuth em /.well-known/oauth-protected-resource. Isso informa a um agente, quando ele atinge um 401 da sua API, qual emissor deve ser autenticado e quais escopos solicitar.

Um agente que não consegue fazer a descoberta do OAuth não pode automatizar uma ação de login no seu site sem intervenção humana. Se o seu produto tiver uma conta de usuário, publique ambas.

5. Comércio agente: um agente pode pagar você?Esta é a categoria mais nova e a que recebe maior resistência dos céticos. A questão subjacente é simples: quando um agente quer comprar algo de você em nome de seu usuário, como é essa transação?

O verificador mede quatro respostas concorrentes.

###x402

x402 revive o código de status HTTP 402 (“Pagamento obrigatório”) e adiciona um cabeçalho PAYMENT-REQUIRED com uma oferta legível por máquina: preço, moeda, trilhos de pagamento aceitos, ponto final de liquidação. Um agente que recebe um 402 assina um pagamento, reenvia a solicitação e obtém o recurso. O verificador procura um status 402 ou um cabeçalho PAYMENT-REQUIRED em sua página inicial e em qualquer endpoint que ele sonda.

x402 é a opção de menor comprometimento. Você escolhe um endpoint pago, retorna um 402 com os termos e está dentro. Stripe, Coinbase e vários provedores de liquidação de criptografia oferecem suporte ao fluxo hoje.

ACP (Protocolo de Comércio Agente)

ACP é o padrão da OpenAI. Ele fica em /.well-known/agentic-commerce e descreve uma superfície de checkout mais completa: catálogo de produtos, preços, impostos, frete, devoluções. Se você vende produtos físicos ou digitais e deseja que ChatGPT faça transações diretamente com sua loja, ACP é a via.

UCP (Protocolo de Comércio Universal)

UCP pega carona no OAuth. Você declara escopos comerciais como ucp:scopes:checkout_session dentro dos metadados do servidor de autorização OAuth. O verificador busca seu documento OAuth AS e procura qualquer valor ucp:scopes:*. Uma partida vale um passe.

UCP é o protocolo comercial mais leve dos quatro porque reutiliza a camada OAuth que você já possui. Se você enviar tokens para qualquer coisa, você estará na metade do caminho.

MPP (protocolo de pagamentos por máquina)

MPP, anunciado em /.well-known/machine-payments, é o mais geral. Trata-se menos de fluxo de checkout e mais de publicidade de quais tipos de pagamentos máquina a máquina seu serviço aceita: stablecoins, trilhos bancários conta a conta, medição por token.

Uma pontuação para aprovação no comércio não exige todos os quatro. É necessário pelo menos um, porque “os agentes podem pagar” é um recurso único com quatro padrões competindo para possuí-lo. Escolha aquele que se adapta ao seu negócio e envie-o.

O que a pontuação final realmente significa

A ferramenta combina as pontuações das cinco categorias em uma nota geral ponderada.

Categoria	Peso
Descoberta	15%
Acessibilidade de conteúdo	20%
Controle de acesso de bots	15%
Descoberta de protocolo	25%
Comércio Agente	25%

Pontuações acima de 85 valem A. Entre 70 e 84 é B. As notas mais baixas caem rapidamente, e isso é proposital. Um site com pontuação na faixa D não é apenas imperfeito para os agentes; é funcionalmente invisível para eles. Não anuncia ferramentas, não atende Markdown, não declara política de bot, não oferece suporte a pagamentos de agentes. Para a fração do tráfego que já é direcionado pelo agente, esse site é lido como um domínio estacionado.

A maioria dos sites que auditamos pontua entre 10 e 30 na primeira execução. Tudo bem. A ferramenta foi projetada para encontrá-lo onde você estiver e revelar as seis mudanças de maior alavancagem. Consertar três deles geralmente move um site de F para C em menos de um dia.

Como executar a verificação

Vá para Agent Protocol Readiness Checker, cole um URL e espere cerca de dez segundos. A página de resultados inclui:

• Sua pontuação geral e nota nas letras.
• As pontuações das cinco categorias com status colorido por cheque.
• A evidência bruta (cabeçalhos, códigos de status, substrings correspondentes) por trás de cada verificação, para que você possa verificar a leitura da ferramenta em relação aos seus próprios registros.
• Uma lista de recomendações priorizadas das principais correções.

Você pode executar a verificação em domínios de teste, origens internas e produção. Ele respeita as regras de segurança de saída URL e limita as leituras do corpo em 512 KB para que um servidor mal configurado não possa queimar seu limite de taxa.

Uma ordem prática para consertar as coisasSe você quiser um levantamento rápido, faça o seguinte em ordem:

1. Publique um robots.txt válido com regras User-agent: explícitas para GPTBot, ClaudeBot, Google-Extended e PerplexityBot, além de uma diretiva Sitemap:. Valide-o com nosso Robots.txt Validator.
2. Adicione negociação de conteúdo Markdown em sua borda CDN. Verifique o cabeçalho Accept, converta HTML em Markdown instantaneamente, defina Content-Type: text/markdown; charset=utf-8 e Vary: Accept. Retorne 406 para tipos não suportados.
3. Publique um llms.txt em sua raiz com indicações para as páginas que você mais deseja que os agentes citem. Gere e valide com nosso LLMs.txt Generator and Validator.
4. Exponha uma placa de servidor MCP em /.well-known/mcp/server-card.json. Mesmo um cartão mínimo (nome, descrição, versão, transporte) desbloqueia a descoberta do agente.
5. Adicionar sinais de conteúdo a robots.txt. Uma linha declarando ai-input: yes, ai-train: no é suficiente para passar na verificação e publicar uma política real.
6. Publique um Web Bot Auth JWKS para que agentes legítimos possam assinar solicitações em sua origem.

Essa lista representa aproximadamente dois dias de trabalho de engenheiro para uma equipe com um CDN normal e um servidor de autenticação normal. Ele move um site de F para B e protege a origem do futuro contra o próximo ano de rotatividade de protocolo de agente.

Como será a prontidão do agente em um ano

A lista exata de verificações que a ferramenta executa hoje não será a lista que executará daqui a doze meses. O MCP ratificará uma especificação formal de negociação de capacidade. As habilidades do agente serão mescladas ou substituirão partes do OpenAPI. ACP, UCP e MPP consolidarão-se em menos padrões e mais fortes. Adicionaremos sondas à medida que pousarem e retiraremos as sondas à medida que se tornarem padrão.

O que não mudará é a forma do problema. Os agentes decidem nas primeiras solicitações se vale a pena usar o seu site. Seu trabalho é expor, de forma rápida e clara, o que seu site pode fazer e como utilizá-lo. Cada sinal que o verificador procura é um atalho que permite que um agente se comprometa com sua origem em vez de desistir dela.

Execute o Agent Protocol Readiness Checker em sua página inicial. Corrija as três principais recomendações. Execute-o novamente. Observe como os agentes tratam seu site de maneira diferente depois que essas três mudanças ocorrem.

Leitura Relacionada

-The Complete Guide to Answer Engine Optimization (AEO) and GEO

• AI Readiness Checker para estrutura de conteúdo e pontuação LLM crawl
• LLMs.txt Generator and Validator para publicar um mapa limpo do seu site para modelos de linguagem
• HTTP Header Checker para verificar Vary, Link e cabeçalhos de tipo de conteúdo dos quais os agentes dependem