Gotowość agenta: jak przygotować witrynę do obsługi sieci agentowej

Dlaczego gotowość agenta jest teraz osobnym problemem

Przez lata jedynym gościem, dla którego trzeba było projektować, był człowiek z przeglądarką. Potem pojawił się crawler Google, a SEO stał się dyscypliną. Potem przybył LLM crawlers, a Answer Engine Optimization stał się kolejną rzeczą, o którą musiałeś się martwić.

Teraz przybył trzeci rodzaj gości. Agenci zbudowani na modelach OpenAI, Anthropic i Google przeglądają witryny w sposób zamierzony. Czytają strony produktów, wypełniają formularze, negocjują ceny i wywołują interfejsy API. W ciągu pierwszej lub dwóch sekund decydują również, czy Twoja witryna jest warta podróży w obie strony.

Agenci zachowują się mniej jak użytkownicy crawl, a bardziej jak niecierpliwi, zaawansowani użytkownicy. Sprawdzają ścieżki /.well-known/, zanim dotkną Twojego kodu HTML. Wysyłają Accept: text/markdown, aby pominąć nawigację. Szukają karty serwera MCP, aby móc komunikować się z Twoją aplikacją jako narzędziem, a nie dokumentem. Jeśli tych sygnałów brakuje, agent albo powróci do zeskrobywania kodu HTML (powolne i stratne), albo przejdzie do konkurencji, która mówi w jego języku.

Właśnie do tego zbudowaliśmy Agent Protocol Readiness Checker. To nie jest audyt SEO. Jest to audyt protokołu. Sprawdza, czy Twoja witryna jest gotowa do użycia przez agenta, a nie do przeczytania przez osobę.

Co robi moduł sprawdzania gotowości protokołu agenta

Daj narzędziu URL. Przeprowadza ponad 20 sond dotyczących Twojego pochodzenia i grupuje wyniki w pięć ocenianych kategorii:

• Wykrywalność. Czy agenci mogą znaleźć Twoje robots.txt, sitemap i nagłówki łączy?
• Dostępność treści. Czy Twój serwer honoruje Accept: text/markdown zgodnie ze specyfikacją Acceptmarkdown.com?
• Kontrola dostępu botów. Czy napisałeś wyraźną politykę dla GPTBot, ClaudeBot, Google-Extended i PerplexityBot? Czy opublikowałeś katalog kluczy Web Bot Auth?
• Wykrywanie protokołu. Czy udostępniasz kartę serwera MCP, manifest umiejętności agenta, katalog API RFC 9727, metadane wykrywania OAuth i adnotacje narzędzia WebMCP?
• Handel agentowy. Czy agent może Ci zapłacić? Moduł sprawdzający szuka sygnałów x402, ACP, UCP i MPP.

Każda kontrola kończy się sukcesem, ostrzeżeniem lub niepowodzeniem, wraz z dowodami serwera stojącymi za werdyktem. Niepowodzenia są umieszczane na liście rekomendacji z priorytetami, a kategorie łączą się w ocenę ważoną od A do F. Celem nie jest kolejny próżny wynik. Celem jest przedstawienie sześciu poprawek, które w największym stopniu zmienią sposób, w jaki agenci traktują Twoją witrynę.

Przyjrzyjmy się, co właściwie mierzy każda kategoria i dlaczego jest to ważne.

1. Odkrywalność: podstawy, które wciąż decydują o wszystkim

Zanim agent będzie mógł użyć czegoś bardziej wyszukanego, musi wiedzieć, co istnieje u Twojego pochodzenia. Zaczyna się od trzech prostych plików.

robots.txt

Moduł sprawdzający pobiera /robots.txt i potwierdza, że zwrócił prawidłową odpowiedź. RFC 9309 jest formalnym standardem od 2022 roku, a agent, który nie może odczytać pliku robots, zakłada najgorsze: że w ogóle nie pomyślałeś o dostępie do maszyny. Jeśli zrobisz tylko jedną rzecz z tego postu, opublikuj prawidłowy plik robots.txt. Nasz Robots.txt Validator wychwytuje typowe błędy (bezpańskie BOM, pułapki z symbolami wieloznacznymi, niecytowane dyrektywy Sitemap).

Deklaracja Sitemap

sitemap i /sitemap.xml są niezłe. Linia Sitemap: wewnątrz robots.txt, która na nią wskazuje, jest lepsza, ponieważ agenci najpierw rozwiązują plik robots. Narzędzie sprawdzające nagradza witryny, które spełniają jedno i drugie.

Nagłówki odpowiedzi linku

Współcześni agenci czytają także nagłówek Link na Twojej stronie głównej, aby uzyskać wskazówki dotyczące zasobów w /.well-known/*. Witryny obsługujące na przykład Link: </.well-known/mcp/server-card.json>; rel="mcp-server-card" umożliwiają agentowi kolejny krok bez konieczności drugiej podróży. Jeśli chcesz zobaczyć, jakie nagłówki wysyła dzisiaj Twoje źródło, przepuść je przez nasz HTTP Header Checker.

Odkrywalność to mała kategoria (15% oceny końcowej), ale tutaj niepowodzenia kaskadują się. Jeśli robots jest uszkodzony, nie można zweryfikować kategorii dostępu do bota. Jeśli brakuje nagłówków łącza, kategorie niższego szczebla muszą zgadnąć.

2. Dostępność treści: sprawdzenie negocjacji w sprawie przecenyJest to kategoria, w której większość witryn nie spełnia wymagań. Zdarza się również, że najłatwiej jest to naprawić.

Propozycja acceptmarkdown.com jest prosta: gdy klient wysyła Accept: text/markdown, serwer powinien zwrócić tę samą treść co Markdown zamiast HTML. Agenci to uwielbiają, ponieważ HTML jest zaszumiony. Usunięcie Chrome, nawigacji i JavaScriptu ze strony pochłania tokeny i wprowadza błędy. Reprezentacja Twojego artykułu w Markdown jest o połowę mniejsza i dziesięć razy łatwiejsza do analizy.

Kontroler uruchamia cztery sondy względem Twojego URL:

1. Accept: text/markdown jest honorowane. Serwer powinien zwrócić Content-Type: text/markdown; charset=utf-8. Deklaracja UTF-8 ma znaczenie, ponieważ agenci przekazują treść do tokenizera, który przyjmuje kodowanie.
2. Vary: Accept jest ustawione. Bez tego nagłówka, CDN, który buforował odpowiedź HTML, przekaże ten kod HTML następnemu agentowi proszącemu o Markdown. Jeden brakujący nagłówek psuje całe źródło każdego klienta AI stojącego za tym samym CDN.
3. Nieobsługiwane typy akceptacji zwracają 406. Jeśli agent wysyła Accept: application/x-weird-type, właściwą odpowiedzią jest 406 Not Acceptable, a nie cicha rezerwa HTML. Zwrócenie wartości 406 informuje logikę ponownych prób agenta, że ​​zażądał niewłaściwej rzeczy.
4. Przestrzegane są wartości q. Agent wysyłający Accept: text/html;q=0.1, text/markdown;q=1.0 mówi: „Jeśli muszę, wezmę HTML, ale zdecydowanie wolę Markdown”. Serwer powinien honorować tę wagę.

Większość źródeł otrzymuje zero z czterech w tej kategorii. Pracownik CDN, który na żądanie przekształca HTML do Markdown, naprawia wszystkie cztery w ciągu jednego popołudnia. Korzyści są złożone: każdy agent, który od tego momentu trafi na Twoją witrynę, pobiera czystą, tokenizowaną reprezentację Twojej treści. Więcej informacji na temat sposobu, w jaki agenci czytają treści przyjazne sztucznej inteligencji, można znaleźć w naszym AI Readiness Checker.

3. Kontrola dostępu botów: jasne powiedzenie „tak”.Domyślny robots.txt nie mówi nic o agentach AI. Cisza jest interpretowana na dwa sposoby, w zależności od agenta. Niektórzy zakładają, że cisza oznacza „w porządku, kontynuuj”. Inni zakładają, że cisza oznacza, że ​​„ta witryna nie wyraziła zgody”. Obie interpretacje cię ranią, ponieważ żadna nie pasuje do tego, czego naprawdę chcesz.

Narzędzie sprawdzające gotowość protokołu agenta szuka trzech wyraźnych sygnałów.

Klienty użytkownika bota AI w robots.txt

Moduł sprawdzający przeszukuje Twój robots.txt pod kątem reguł skierowanych do crawlers, które są dziś ważne: GPTBot, ChatGPT-User, OAI-SearchBot, ClaudeBot, Claude-Web, anthropic-ai, Google-Extended, PerplexityBot, Perplexity-User, Meta-ExternalAgent, Applebot-Extended, Bytespider, CCBot, cohere-ai, DuckAssistBot, Amazonbot, MistralAI-User. Trzej lub więcej wyznaczeni agenci otrzymują przepustkę. Krótsza lista zasługuje na ostrzeżenie. Zero oznacza porażkę, ponieważ w tym momencie nie masz żadnej polityki dotyczącej sztucznej inteligencji.

Napisanie User-agent: GPTBot, po którym następuje Allow: /, to nie to samo, co nic nie powiedzieć. Jest to publiczne zobowiązanie, że agent określonej firmy może czytać Twoją witrynę na podstawie określonych zasad. To zaangażowanie jest nośne, gdy mechanizm polityki agenta decyduje, czy Cię pozyskać.

Jeśli chcesz sprawdzić, jak konkretny bot AI zachowuje się obecnie na jednej z Twoich ścieżek, nasz AI Bot Path Tester przeprowadzi symulację żądania pod kątem reguł w Twoim aktywnym robots.txt.

Sygnały treści Cloudflare

Cloudflare zaproponowało Content Signals pod koniec 2025 r.: trzy dyrektywy (search, ai-input, ai-train), które znajdują się w robots.txt i deklarują oddzielne zasady dotyczące crawling, odzyskiwania w celu uzyskania odpowiedzi i szkolenia. Moduł sprawdzający skanuje plik robots pod kątem dowolnej dyrektywy Content-Signal:. Wystarczy jeden, aby przejść.

Treść Sygnały mają znaczenie, ponieważ „blok GPTBot” to tępy instrument. Blokuje uczenie, odzyskiwanie i ugruntowane odpowiedzi za jednym zamachem. Sygnały treści umożliwiają udzielenie konkretnych odpowiedzi (aby Twoja marka pojawiała się w cytatach ChatGPT) i blokowanie szkoleń (aby Twoje treści nie zostały skompresowane do ciężarów modelki).

Uwierzytelnianie bota internetowego

Web Bot Auth to najnowszy produkt w tej kategorii. Agenci podpisują swoje żądania za pomocą pary kluczy Ed25519. Klucz publiczny można wykryć pod adresem /.well-known/http-message-signature-directory jako JWKS. Kiedy agent uderza na Twój serwer, sprawdzasz podpis w oparciu o opublikowany klucz i wiesz na pewno, który agent wysłał żądanie.

Moduł sprawdzający sonduje ten katalog i potwierdza, że ​​zwraca JSON. Jeśli go nie opublikowałeś, nie możesz odróżnić legalnego agenta od skrobaka noszącego jego klienta użytkownika. Już sam argument dotyczący bezpieczeństwa jest przekonujący. Praktyczny przypadek jest szerszy: agenci obsługujący Web Bot Auth uzyskują niższe limity stawek i dostęp do większej części Twojej witryny. Opublikowane klucze zwracają się natychmiast.

4. Wykrywanie protokołu: dobrze znane punkty końcoweTo serce narzędzia i kategoria o największej wadze (25% oceny końcowej). Jest to również część stosu agentów, która zmienia się co miesiąc, więc moduł sprawdzający opiera się na dobrze określonych punktach końcowych, a nie na sztuczkach specyficznych dla dostawcy.

Karta serwera MCP

Model Context Protocol to sposób, w jaki Claude, ChatGPT i rosnąca lista agentów odkrywają wywoływalne narzędzia na zdalnym serwerze. Karta serwera MCP w /.well-known/mcp/server-card.json reklamuje nazwę serwera, możliwości, transport i model uwierzytelniania. Moduł sprawdzający sprawdza tę ścieżkę i w przypadku jej braku wraca do /.well-known/mcp.json.

Jeśli Twój produkt ma jakikolwiek interfejs API, karta serwera MCP to posunięcie, które zmienia Twoją witrynę z dokumentu w narzędzie. Agent, który znajdzie kartę serwera, przestaje przeglądać i zaczyna wywoływać. To lepsze doświadczenie dla użytkownika i tańsza interakcja dla Ciebie.

Umiejętności agenta

Agent Skills to nowszy format manifestu, który działa w /.well-known/agent-skills/index.json. Uzupełnia MCP poprzez opis przepływów pracy przydatnych dla agenta, a nie tylko narzędzi: „utwórz przesyłkę”, „złóż zwrot pieniędzy”, „przeszukaj rezerwację”. Moduł sprawdzający sonduje tę ścieżkę i szuka prawidłowej odpowiedzi.

Jeśli Twoja witryna publikuje już specyfikację OpenAPI lub kartę serwera MCP, wygenerowanie manifestu umiejętności agenta polega głównie na tłumaczeniu. Zwrot z inwestycji polega na tym, że Claude Code i podobni klienci będą ujawniać Twoje umiejętności użytkownikom po imieniu.

WebMCP

WebMCP jest kuzynem MCP po stronie przeglądarki. Zamiast reklamować narzędzia poprzez /.well-known/ URL, możesz opisywać elementy <form> bezpośrednio w swoim kodzie HTML atrybutami toolname i tooldescription lub deklarować narzędzia poprzez znacznik <meta name="webmcp" ...>. Moduł sprawdzający skanuje kod HTML strony głównej pod kątem dowolnego wzorca.

Zaletą jest to, że agent korzystający z Twojej strony w przeglądarce może odkryć i wywołać te narzędzia bez opuszczania karty. WebMCP to niewielka ilość znaczników zapewniająca dużą płynność agenta.

Katalog API (RFC 9727)

RFC 9727 definiuje /.well-known/api-catalog jako wskaźnik do wszystkich interfejsów API udostępnianych przez Twoje pochodzenie, obsługiwanych jako application/linkset+json. Moduł sprawdzający potwierdza, że ​​punkt końcowy istnieje i że jego typ zawartości jest prawidłowy. Wiele źródeł otrzymuje tutaj ostrzeżenie: obsługują ścieżkę, ale z application/json zamiast application/linkset+json. Naprawianie typu zawartości to jeden nagłówek na jednej trasie.

Wykrywanie OAuth

Tutaj liczą się dwie specyfikacje:

• RFC 8414 opisuje metadane serwera autoryzacji OAuth pod adresem /.well-known/oauth-authorization-server. Informuje agenta, jak rozpocząć przepływ OAuth wobec wystawcy.
• RFC 9728 opisuje metadane zasobu chronionego OAuth pod adresem /.well-known/oauth-protected-resource. Informuje to agenta, gdy uzyska w Twoim interfejsie API wartość 401, o tym, wobec którego wystawcy ma się uwierzytelnić i o jakie zakresy poprosić.

Agent, który nie może wykryć OAuth, nie może zautomatyzować działania związanego z logowaniem w Twojej witrynie bez interwencji człowieka. Jeśli Twój produkt ma konto użytkownika, opublikuj oba.

5. Handel agencyjny: czy agent może ci zapłacić?To najnowsza kategoria, która spotyka się z największym sprzeciwem sceptyków. Pytanie pod spodem jest proste: gdy agent chce coś od Ciebie kupić w imieniu swojego użytkownika, jak wygląda taka transakcja?

Kontroler mierzy cztery konkurencyjne odpowiedzi.

###x402

x402 przywraca kod statusu HTTP 402 („Wymagana płatność”) i dodaje nagłówek PAYMENT-REQUIRED z ofertą do odczytu maszynowego: cena, waluta, akceptowane szyny płatnicze, punkt końcowy rozliczenia. Agent, który otrzyma błąd 402, podpisuje płatność, ponownie przesyła żądanie i pobiera zasób. Moduł sprawdzający szuka statusu 402 lub nagłówka PAYMENT-REQUIRED na Twojej stronie głównej i każdym sondowanym punkcie końcowym.

x402 to opcja wymagająca najniższego zaangażowania. Wybierasz jeden płatny punkt końcowy, zwracasz błąd 402 z warunkami i gotowe. Stripe, Coinbase i kilku dostawców rozliczeń kryptowalut obsługuje obecnie ten przepływ.

ACP (protokół handlu agentowego)

ACP to standard OpenAI. Znajduje się pod adresem /.well-known/agentic-commerce i opisuje pełniejszą powierzchnię kasową: katalog produktów, ceny, podatki, wysyłkę, zwroty. Jeśli sprzedajesz towary fizyczne lub cyfrowe i chcesz, aby ChatGPT przeprowadzał transakcje bezpośrednio z Twoim sklepem, ACP jest właściwym wyborem.

UCP (Uniwersalny protokół handlowy)

UCP na baranach na OAuth. Deklarujesz zakresy handlowe, takie jak ucp:scopes:checkout_session, w metadanych serwera autoryzacji OAuth. Moduł sprawdzający pobiera dokument OAuth AS i wyszukuje dowolną wartość ucp:scopes:*. Jeden mecz oznacza przepustkę.

UCP to najlżejszy protokół handlowy ze wszystkich czterech, ponieważ ponownie wykorzystuje warstwę OAuth, którą już posiadasz. Jeśli wysyłasz tokeny za cokolwiek, jesteś już w połowie drogi.

MPP (protokół płatności maszynowych)

Najbardziej ogólny jest MPP, reklamowany pod adresem /.well-known/machine-payments. Mniej chodzi o przepływ transakcji, a bardziej o reklamowanie rodzajów płatności między maszynami, które akceptuje Twoja usługa: monety stabilne, szyny bankowe między kontami, liczniki przypadające na token.

Pozytywny wynik z handlu nie wymaga wszystkich czterech. Wymaga co najmniej jednego, ponieważ „agenci mogą ci zapłacić” to pojedyncza funkcja, o którą rywalizują cztery standardy. Wybierz ten, który pasuje do Twojej firmy i wyślij go.

Co właściwie oznacza wynik końcowy

Narzędzie łączy wyniki pięciu kategorii w ważoną ocenę ogólną.

Kategoria	Waga
Odkrywalność	15%
Dostępność treści	20%
Kontrola dostępu botów	15%
Odkrycie protokołu	25%
Handel agentyczny	25%

Wyniki powyżej 85 dają ocenę A. Od 70 do 84 to ocena B. Niższe oceny szybko spadają i jest to celowe. Strona, która uzyskała wynik w przedziale D, jest nie tylko niedoskonała dla agentów; jest dla nich funkcjonalnie niewidoczny. Nie reklamuje narzędzi, nie obsługuje Markdown, nie deklaruje polityki botów, nie obsługuje płatności agencyjnych. W przypadku części ruchu, który jest już generowany przez agenta, witryna ta jest odczytywana jako zaparkowana domena.

Większość witryn, które skontrolowaliśmy, uzyskuje wyniki od 10 do 30 przy pierwszym uruchomieniu. To w porządku. Narzędzie zostało zaprojektowane tak, aby spotkać się z Tobą tam, gdzie jesteś i ujawnić sześć zmian o największym wpływie. Naprawienie trzech z nich zwykle przenosi witrynę z F do C w niecały dzień.

Jak przeprowadzić kontrolę

Przejdź do Agent Protocol Readiness Checker, wklej URL i poczekaj około dziesięciu sekund. Strona wyników zawiera:

• Twój ogólny wynik i ocena listowa.
• Pięć wyników kategorii z kolorowym statusem na każdym czeku.
• Surowe dowody (nagłówki, kody stanu, dopasowane podciągi) stojące za każdą kontrolą, dzięki czemu możesz zweryfikować odczyt narzędzia w oparciu o własne dzienniki.
• Priorytetowa lista rekomendacji najważniejszych poprawek.

Możesz uruchomić sprawdzanie domen przejściowych, źródeł wewnętrznych i produkcji. Przestrzega zasad bezpieczeństwa wychodzących URL i ogranicza odczyt treści do 512 KB, więc źle skonfigurowany serwer nie może przepalić limitu szybkości.

Praktyczny nakaz naprawiania rzeczyJeśli chcesz szybko podnieść, wykonaj następujące czynności w następującej kolejności:

1. Opublikuj poprawny plik robots.txt z jawnymi regułami User-agent: dla GPTBot, ClaudeBot, Google-Extended i PerplexityBot oraz dyrektywą Sitemap:. Sprawdź to za pomocą naszego Robots.txt Validator.
2. Dodaj negocjację treści Markdown na urządzeniu brzegowym CDN. Sprawdź nagłówek Accept, przekonwertuj HTML na Markdown w locie, ustaw Content-Type: text/markdown; charset=utf-8 i Vary: Accept. Zwróć 406 dla nieobsługiwanych typów.
3. Opublikuj plik llms.txt w katalogu głównym ze wskaźnikami do stron, które agenci mają najczęściej cytować. Wygeneruj i zatwierdź go za pomocą naszego LLMs.txt Generator and Validator.
4. Odsłoń kartę serwera MCP w /.well-known/mcp/server-card.json. Nawet minimalna karta (nazwa, opis, wersja, transport) odblokowuje wykrywanie agenta.
5. Dodaj sygnały treści do robots.txt. Wystarczy jedna linijka deklarująca ai-input: yes, ai-train: no, aby przejść kontrolę i opublikować prawdziwą politykę.
6. Opublikuj Web Bot Auth JWKS, aby legalni agenci mogli podpisywać żądania przeciwko Twojemu pochodzeniu.

Ta lista to mniej więcej dwa dni pracy inżyniera dla zespołu posiadającego normalny CDN i normalny serwer uwierzytelniający. Przenosi witrynę z F do B i zabezpiecza pochodzenie w przyszłości przed kolejnym rokiem zmiany protokołu agenta.

Jak wygląda gotowość agenta za rok

Dokładna lista kontroli, które narzędzie przeprowadza dzisiaj, nie będzie taką samą listą, jaką będzie przeprowadzać za dwanaście miesięcy. MCP ratyfikuje formalną specyfikację negocjacji w zakresie zdolności. Agent Skills połączy się lub zastąpi części OpenAPI. ACP, UCP i MPP połączą się w mniejszą liczbę silniejszych standardów. Będziemy dodawać sondy po wylądowaniu i wycofywać je, gdy staną się domyślne.

To, co się nie zmieni, to kształt problemu. Agenci już w pierwszych kilku zapytaniach decydują, czy warto skorzystać z Twojej witryny. Twoim zadaniem jest szybkie i jasne pokazanie, co potrafi Twoja witryna i jak z niej korzystać. Każdy sygnał, którego szuka sprawdzający, jest skrótem, który pozwala agentowi zaangażować się w Twoje pochodzenie, zamiast z niego rezygnować.

Uruchom Agent Protocol Readiness Checker na swojej stronie głównej. Popraw trzy najważniejsze rekomendacje. Uruchom ponownie. Zobacz, jak różni agenci traktują Twoją witrynę po wprowadzeniu tych trzech zmian.

Powiązane lektury

-The Complete Guide to Answer Engine Optimization (AEO) and GEO

• AI Readiness Checker dla struktury treści i punktacji LLM crawl
• LLMs.txt Generator and Validator za publikację czystej mapy Twojej witryny do modeli językowych
• HTTP Header Checker do weryfikacji Vary, Link i agentów nagłówków typu zawartości zależy od