Agentenbereitschaft: So bereiten Sie Ihre Website auf das Agentic Web vor

Warum das Agentic Web ein eigenes Audit braucht

Eine neue Art von Besucher erreicht Ihren Ursprung heute, bevor es ein Mensch tut: Software, die handelt. Cloudflare hat den KI-Bot-Traffic im Jahr 2025 mit 4,2 % aller HTML-Anfragen über sein Netzwerk gemessen (Cloudflare Radar 2025 Year in Review, 2025). Dieser Anteil kauft, bucht und meldet sich an. Der Agent Protocol Readiness Checker prüft, ob Ihre Website ihn bedienen kann.

Das Wichtigste in Kürze

• KI-Bots verursachen bereits rund 4,2 % der HTML-Anfragen im Netzwerk von Cloudflare (Cloudflare Radar, 2025), und dieser Anteil steigt weiter.
• Agenten prüfen /.well-known/-Pfade, Content Negotiation und Bot-Auth-Schlüssel, bevor sie Ihr HTML überhaupt parsen.
• Der Checker bewertet fünf Ebenen: Auffindbarkeit, Inhaltszugriff, Identität, Funktionsumfang und Commerce.
• Die meisten Websites landen beim ersten Lauf zwischen 10 und 30. Drei gezielte Korrekturen bringen sie in der Regel auf eine bestandene Note.
• Beginnen Sie mit den am stärksten gewichteten Lücken: Markdown-Aushandlung und Protokollerkennung tragen zusammen 45 % zur Bewertung bei.

Denken Sie an die Reihenfolge, in der ein moderner Agent vorgeht. Er öffnet nicht Ihre Startseite und liest von oben nach unten wie ein Mensch. Er tastet sich heran. Er stellt Ihrem Server zuerst ein paar gezielte Fragen: Liefern Sie sauberes Markdown, veröffentlichen Sie ein Tool-Manifest, akzeptieren Sie signierte Anfragen, können Sie eine Zahlung entgegennehmen? Nur wenn diese Tests scheitern, fällt er auf das Scraping von reinem HTML zurück, was langsam und verlustbehaftet ist.

Dieses Tastverhalten ist der Grund, warum Agentenbereitschaft eine eigene Disziplin ist. SEO steuert, wie Google Sie rankt. Answer Engine Optimization steuert, wie Chat-Assistenten Sie zitieren. Agentenbereitschaft steuert etwas anderes: ob Software überhaupt mit Ihnen Transaktionen abwickeln kann. Der Checker ist ein Protokoll-Audit, kein Inhalts-Audit. Er zeigt Ihnen Ebene für Ebene, an welcher Stelle ein Agent aufgibt.

Was misst der Agent Protocol Readiness Checker?

Der Checker führt mehr als 20 Tests gegen eine URL aus und gruppiert sie in fünf bewertete Ebenen, gewichtet nach Wirkung. Protokollerkennung und Agentic Commerce tragen jeweils 25 % zur Note bei, Inhaltszugriff 20 % sowie Auffindbarkeit und Bot-Zugriff je 15 %. Jeder Test liefert „Bestanden“, „Warnung“ oder „Nicht bestanden“ zurück, mit dem rohen Serverbeweis im Anhang.

Abbildung 1: Die fünf Ebenen, die ein Agent bewertet, und wie stark jede in die Endnote einfließt.

Der Sinn der Schichtung ist die Reihenfolge. Ein Agent, der Ihre robots.txt nicht findet, gelangt nie zu der Frage, ob Sie Markdown ausliefern. Ein Agent, der Ihre Inhalte nicht sauber lesen kann, prüft selten, ob Sie Tools veröffentlichen. Fehler kaskadieren nach unten, daher steuern die unteren Ebenen alles darüber.

Citation-Kapsel

Der Agent Protocol Readiness Checker bewertet fünf gewichtete Ebenen über mehr als 20 Tests: Auffindbarkeit und Bot-Zugriff mit je 15 %, Inhaltszugriff mit 20 % sowie Protokollerkennung und Agentic Commerce mit je 25 %. Jeder Test liefert „Bestanden“, „Warnung“ oder „Nicht bestanden“ samt rohem Serverbeweis. KI-Bots verursachen bereits 4,2 % der HTML-Anfragen (Cloudflare Radar, 2025).

Wir haben ihn entwickelt, weil das vorhandene Tooling die falsche Frage beantwortet. Die meisten Audits fragen: „Wird Google diese Seite ranken?“ Wir brauchten eines, das fragt: „Kann ein autonomer Agent diesen Ursprung ohne Menschen nutzen?“ Das sind nicht dieselben Websites. Eine Seite kann hervorragend ranken und trotzdem für einen Buchungs-Agenten eine Sackgasse sein.

Wie entdecken und lesen Agenten Ihre Website?

Auffindbarkeit und Inhaltszugriff sind die ersten beiden Ebenen und entscheiden, ob ein Agent überhaupt beginnt. Agenten lösen zuerst die robots.txt auf, lesen dann die Link-Response-Header nach Hinweisen und handeln anschließend den Inhaltstyp aus. Die meisten Ursprünge erreichen bei der Markdown-Aushandlung null Punkte, obwohl dies die Einzelkorrektur mit dem besten Aufwand-Nutzen-Verhältnis für KI-vermittelten Traffic ist.

Abbildung 2: Das menschliche Web liefert gerendertes HTML zurück. Das Agentic Web liefert ausgehandeltes Markdown in weniger Schritten.

Auffindbarkeit: die Dateien, die Agenten zuerst auflösen

Drei einfache Dateien decken den Tisch. Eine gültige robots.txt nach RFC 9309, eine Sitemap, auf die die Robots-Datei mit einer Sitemap:-Zeile verweist, und Link-Response-Header auf Ihrer Startseite, die auf Ressourcen unter /.well-known/ hinweisen. Ein Agent, der Link: </.well-known/mcp/server-card.json>; rel="mcp-server-card" liest, erhält seinen nächsten Schritt gratis, ohne zusätzlichen Roundtrip. Validieren Sie die Robots-Datei mit unserem Robots.txt Validator und prüfen Sie mit dem HTTP Header Checker, was Ihr Ursprung heute sendet.

Inhaltszugriff: Markdown auf Anfrage ausliefern

Hier scheitern die meisten Websites, und es ist zugleich am günstigsten zu beheben. Der Vorschlag von acceptmarkdown.com besagt: Sendet ein Client Accept: text/markdown, sollte Ihr Server denselben Inhalt als Markdown statt als HTML zurückgeben. Der Checker führt hier vier Tests aus.

Zuerst bestätigt er, dass der Server den Header berücksichtigt und Content-Type: text/markdown; charset=utf-8 zurückgibt. Zweitens prüft er auf Vary: Accept. Lassen Sie diesen Header weg, kann ein CDN dem nächsten Agenten, der Markdown angefordert hat, einen zwischengespeicherten HTML-Body ausliefern und damit die Antwort für jeden KI-Client hinter diesem Cache vergiften. Drittens sollte ein nicht unterstützter Accept-Typ 406 Not Acceptable zurückgeben, keinen stillen HTML-Fallback. Viertens sollte der Server q-Werte respektieren, sodass text/markdown;q=1.0, text/html;q=0.1 tatsächlich Markdown zurückgibt.

In unseren eigenen Audits erreicht der typische erste Lauf hier null von vier Punkten, und ein einziger CDN-Worker, der HTML bei Bedarf in Markdown umwandelt, behebt alle vier an einem Nachmittag. Danach zieht jeder Agent eine saubere, tokenisierte Kopie Ihrer Inhalte, statt sich mit Navigations-Chrome herumzuschlagen. Für die inhaltsstrukturelle Seite dieser Frage bewertet unser AI Readiness Checker, wie gut sich Ihre Seiten parsen lassen.

Citation-Kapsel

Die Markdown Content Negotiation folgt dem Vorschlag von acceptmarkdown.com: Sendet ein Client Accept: text/markdown, gibt der Server Markdown mit Content-Type: text/markdown; charset=utf-8 und Vary: Accept zurück. Lässt man Vary weg, kann ein CDN zwischengespeichertes HTML an Agenten ausliefern, die Markdown anfordern, und so die Antworten für jeden KI-Client hinter diesem Cache verfälschen.

Wie sollten Sie KI-Bot-Zugriff und Identität verwalten?

Schweigen ist keine Richtlinie. Eine Standard-robots.txt, die keine KI-Agenten benennt, überlässt jedem Crawler das Raten über Ihre Absicht, und die Vermutungen gehen zu Ihren Lasten. Die Bot-Zugriffsebene belohnt explizite Regeln, eine separate Content-Signals-Richtlinie und ein veröffentlichtes Web-Bot-Auth-Schlüsselverzeichnis, damit Sie einen echten Agenten von einem Scraper unterscheiden können, der dessen Namen trägt.

GPTBot zeigt, warum sich Explizitheit lohnt. Im Vergleich von Mai 2024 zu Mai 2025 stieg der Anteil von GPTBot am kombinierten Traffic von KI- und Such-Crawlern von 2,2 % auf 7,7 %, ein Plus von 305 % bei den reinen Anfragen, womit er von Rang neun auf Rang drei vorrückte (Cloudflare, 2025). Wenn ein einzelner Agent so schnell wächst, kostet Sie eine pauschale „Alles blockieren“-Regel echte Reichweite.

Benennen Sie die Agenten in der robots.txt

Der Checker sucht nach Regeln, die auf die heute relevanten Crawler abzielen: GPTBot, ChatGPT-User, OAI-SearchBot, ClaudeBot, Google-Extended, PerplexityBot, Meta-ExternalAgent, Applebot-Extended, Bytespider, CCBot, Amazonbot und weitere. Drei oder mehr benannte Agenten ergeben ein „Bestanden“. User-agent: GPTBot gefolgt von Allow: / zu schreiben, ist eine öffentliche Zusage, auf die sich eine Policy-Engine verlassen kann, was sich stark davon unterscheidet, nichts zu sagen. Wenn Sie das Crawler-Verhalten über Versionen hinweg bestätigen möchten, schlüsselt unser begleitender Leitfaden GPTBot vs ChatGPT-User vs ClaudeBot auf, welcher Name was tut.

Training und Abruf mit Content Signals trennen

Cloudflares Content-Signals-Vorschlag ergänzt die robots.txt um drei Direktiven: search, ai-input und ai-train. Sie erlauben fundierte Antworten, damit Ihre Marke weiterhin in KI-Zitaten erscheint, während Sie das Modelltraining ablehnen. Der Checker vergibt ein „Bestanden“ für jede einzelne Content-Signal:-Direktive. GPTBot pauschal zu blockieren, ist ein grober Rundumschlag, der Zitate und Training zugleich trifft. Unsere Analyse dazu, was die KI-Sichtbarkeit in der robots.txt blockiert, behandelt die häufigen Über-Blockaden.

Agenten mit Web Bot Auth verifizieren

Web Bot Auth ermöglicht es Agenten, Anfragen mit einem Ed25519-Schlüsselpaar zu signieren und den öffentlichen Schlüssel als JWKS unter /.well-known/http-message-signature-directory zu veröffentlichen. Es bewegt sich schnell vom Vorschlag zur Produktion: AWS WAF kündigte im November 2025 Unterstützung für Web Bot Auth an (AWS, 2025), mit Cloudflare, Anthropic und OpenAI hinter der zugrunde liegenden IETF-Arbeit. Der Checker prüft dieses Verzeichnis und bestätigt, dass es JSON zurückgibt. Ohne es können Sie einen legitimen Agenten nicht von einem Fälscher unterscheiden, und verifizierte Agenten erhalten niedrigere Ratenlimits und breiteren Zugriff.

Welche Protokolle erlauben Agenten, Ihre Website als Tool zu nutzen?

Die Protokollerkennung ist das Herzstück des Checkers und seine schwerste Ebene mit 25 %. Sie betrachtet die /.well-known/-Endpunkte und In-Page-Annotationen, die Ihre Website von einem Dokument in ein aufrufbares Tool verwandeln. Anker ist hier das Model Context Protocol, das Anthropic am 25. November 2024 als Open Source veröffentlichte (Anthropic, 2024) und das OpenAI und Google innerhalb eines Jahres übernahmen.

MCP Server Card

Eine MCP Server Card unter /.well-known/mcp/server-card.json bewirbt Name, Funktionen, Transport und Auth-Modell Ihres Servers. Der Checker prüft diesen Pfad und greift auf /.well-known/mcp.json zurück. Wenn Ihr Produkt überhaupt eine API besitzt, ist eine Server Card die Änderung, die Ihre Website von „scrape sie“ auf „rufe sie auf“ umstellt. Ein Agent, der eine Card findet, hört auf, HTML zu parsen, und beginnt, Funktionen aufzurufen, was für Sie günstiger und für den Nutzer schneller ist.

WebMCP für In-Browser-Agenten

MCP geht von einer Server-zu-Server-Welt aus, doch viel Agentenaktivität findet heute innerhalb eines Browser-Tabs statt, und WebMCP füllt diese Lücke. Statt einer /.well-known/-URL annotieren Sie <form>-Elemente direkt mit Tool-Attributen oder deklarieren Tools über ein <meta name="webmcp">-Tag und stellen so aufrufbare Aktionen einem bereits auf der Seite befindlichen Agenten bereit. Der Vorschlag kam 2025 als gemeinsame Arbeit von Google und Microsoft auf und wurde von einer W3C Community Group angenommen, wobei Chrome eine frühe Vorschau auslieferte, behandeln Sie die genauen Versionsnummern also als bewegliches Ziel. Der Checker durchsucht Ihre Startseite nach einem der beiden Muster. Die praktische Lehre: Wenn Ihre Conversions auf der Seite stattfinden, lässt serverseitiges MCP allein Agenten an Ihren Formularen hängen.

API-Katalog und OAuth-Erkennung

Zwei weitere Erkennungsflächen runden die Ebene ab. RFC 9727 definiert /.well-known/api-catalog als application/linkset+json-Verweis auf jede API, die Sie bereitstellen. Viele Ursprünge erhalten hier eine Warnung, weil sie den Pfad stattdessen mit application/json ausliefern, eine Korrektur an einem einzigen Header. Dann die OAuth-Erkennung: RFC-8414-Metadaten unter /.well-known/oauth-authorization-server teilen einem Agenten mit, wie er einen Auth-Flow startet, und RFC-9728-Metadaten unter /.well-known/oauth-protected-resource teilen ihm bei einer 401 mit, welchen Issuer und welche Scopes er verwenden soll. Ohne OAuth-Erkennung kann kein Agent eine angemeldete Aktion auf Ihrer Website automatisieren.

Citation-Kapsel

Das Model Context Protocol, von Anthropic am 25. November 2024 als Open Source veröffentlicht (Anthropic, 2024), erlaubt es Agenten, aufrufbare Tools über eine MCP Server Card unter /.well-known/mcp/server-card.json zu entdecken. Innerhalb von etwa einem Jahr übernahmen OpenAI und Google es, womit MCP zur faktischen Erkennungsebene wurde, die der Agent Protocol Readiness Checker zuerst prüft.

Kann ein Agent Sie tatsächlich bezahlen?

Agentic Commerce ist die jüngste Ebene und teilt sich mit 25 % die schwerste Gewichtung. Die Frage ist unmissverständlich: Wenn ein Agent für seinen Nutzer bei Ihnen kaufen will, wie sieht diese Transaktion aus? Adobe Analytics stellte fest, dass die Besuche von US-Retail-Websites aus generativen KI-Quellen zwischen Juli 2024 und Februar 2025 um 1.200 % sprangen (Adobe, 2025). Die Zuweisungen treffen bereits ein. Der Checkout muss bereit sein.

Ab hier wird der Einsatz größer. Gartner prognostiziert, dass KI-Agenten bis 2028 mehr als 15 Billionen US-Dollar an B2B-Ausgaben vermitteln werden (Gartner, via Digital Commerce 360, 2025). Eine bestandene Commerce-Bewertung verlangt nicht die Unterstützung jedes Standards. Sie verlangt mindestens einen, denn „ein Agent kann Sie bezahlen“ ist eine Fähigkeit, um die vier Protokolle konkurrieren.

x402: der Weg mit dem geringsten Aufwand

x402 belebt den HTTP-Status 402, „Payment Required“, mit einem maschinenlesbaren Angebots-Header wieder, der Preis, Währung und Abrechnungsendpunkt auflistet. Der Agent erhält die 402, signiert eine Zahlung, reicht sie erneut ein und bekommt die Ressource. Die Adoption ist real: Das x402-Protokoll von Coinbase überschritt Anfang 2026 kumuliert 100 Millionen Transaktionen im Base-Netzwerk (Crypto Briefing, 2026), wobei die On-Chain-Zahlen vom Projekt selbst und nicht von einem neutralen Prüfer stammen. Sie wählen einen kostenpflichtigen Endpunkt, geben eine 402 mit Bedingungen zurück und sind live.

ACP: vollständiger Checkout für den Handel

Das Agentic Commerce Protocol ist die umfassendere Fläche. Stripe und OpenAI starteten ACP zusammen mit Instant Checkout in ChatGPT am 29. September 2025 (Stripe Newsroom, 2025), zunächst mit US-Etsy-Verkäufern und über einer Million Shopify-Händlern, darunter Glossier, Vuori, Spanx und SKIMS. ACP liegt unter /.well-known/agentic-commerce und beschreibt Katalog, Preise, Steuern, Versand und Retouren. Wenn Sie Waren verkaufen und möchten, dass ChatGPT direkt Transaktionen abwickelt, ist das Ihre Spur.

UCP und MPP: leichter und allgemeiner

Zwei Optionen in einem früheren Stadium runden die Ebene ab, und der Checker behandelt sie als aufkommende statt etablierte Standards. UCP setzt auf OAuth auf: Sie deklarieren Commerce-Scopes wie ucp:scopes:checkout_session in Ihren OAuth-Metadaten, wenn Sie also bereits Token ausliefern, sind Sie auf halbem Weg. MPP, beworben unter /.well-known/machine-payments, ist am allgemeinsten und beschreibt, welche Maschine-zu-Maschine-Schienen Sie akzeptieren, von Stablecoins über Banküberweisungen bis zur Abrechnung pro Token. Keines hat die dokumentierte Absicherung aus Primärquellen, die MCP, ACP und x402 mitbringen, definieren Sie sie also aus Ihrer eigenen Spezifikation und beobachten Sie, wie sie sich konsolidieren.

Wie lesen Sie die Bewertung und schließen die Lücken?

Der Checker fasst die fünf Ebenen zu einer gewichteten Note von A bis F zusammen. Werte über 85 ergeben ein A, 70 bis 84 ein B, und niedrigere Noten fallen bewusst stark ab: Eine Website im D-Bereich bewirbt keine Tools, liefert kein Markdown aus und akzeptiert keine Agentenzahlungen, sie liest sich für agentengesteuerten Traffic daher wie eine geparkte Domain. In unseren Audits starten die meisten Websites zwischen 10 und 30.

Ebene	Gewicht
Auffindbarkeit	15 %
Inhaltszugriff	20 %
Bot-Zugriffskontrolle	15 %
Protokollerkennung	25 %
Agentic Commerce	25 %

Dieser niedrige Ausgangspunkt ist zu erwarten und gut machbar. Das Tool zeigt die sechs wirkungsstärksten Korrekturen, und drei davon umzusetzen, bringt eine Website meist innerhalb eines Tages von F auf C.

Eine praktische Reihenfolge zum Beheben

Arbeiten Sie die Ebenen in Abhängigkeitsreihenfolge ab, damit jede Korrektur die nächste freischaltet.

1. Veröffentlichen Sie eine gültige robots.txt mit expliziten User-agent:-Regeln für GPTBot, ClaudeBot, Google-Extended und PerplexityBot sowie einer Sitemap:-Zeile. Validieren Sie sie mit dem Robots.txt Validator.
2. Fügen Sie an Ihrem CDN-Edge eine Markdown Content Negotiation hinzu: berücksichtigen Sie Accept: text/markdown, setzen Sie Vary: Accept, geben Sie 406 für nicht unterstützte Typen zurück.
3. Veröffentlichen Sie eine llms.txt in Ihrem Stammverzeichnis, die auf die Seiten verweist, die Agenten am meisten zitieren sollen. Erstellen und validieren Sie sie mit dem LLMs.txt Generator + Validator und lesen Sie unsere Einschätzung dazu, ob Sie eine llms.txt brauchen.
4. Stellen Sie eine minimale MCP Server Card unter /.well-known/mcp/server-card.json bereit, damit Agenten Ihre Tools entdecken können.
5. Fügen Sie der robots.txt eine Content-Signals-Direktive hinzu, um eine echte Richtlinie für Training versus Abruf zu veröffentlichen.
6. Veröffentlichen Sie ein Web-Bot-Auth-JWKS, damit verifizierte Agenten Anfragen signieren können.

Über die Websites hinweg, die wir durch den Checker laufen ließen, entspricht diese Abfolge auf einem normalen CDN- und Auth-Stack etwa zwei Entwicklertagen Arbeit und bringt einen Ursprung zuverlässig von F auf B. Um zu bestätigen, dass Ihre Robots-Regeln Crawler tatsächlich durchlassen, kombinieren Sie dies mit unserem Leitfaden wie Sie prüfen, ob KI-Crawler auf Ihre Website zugreifen können.

FAQ

Unterscheidet sich Agentenbereitschaft von SEO und AEO?

Ja. SEO steuert das Suchranking, und Answer Engine Optimization steuert, wie Chat-Assistenten Sie zitieren. Agentenbereitschaft steuert, ob Software überhaupt mit Ihrem Ursprung Transaktionen abwickeln kann: Tools entdecken, Inhalte aushandeln, sich anmelden und bezahlen. Eine Seite kann gut ranken und trotzdem für einen autonomen Buchungs-Agenten eine Sackgasse sein.

Welche Korrektur bringt den schnellsten Ertrag?

Die Markdown Content Negotiation. Die meisten Websites erreichen dort null von vier Punkten, doch ein einziger CDN-Worker, der Accept: text/markdown berücksichtigt, Vary: Accept setzt und 406 für nicht unterstützte Typen zurückgibt, behebt alle vier Tests an einem Nachmittag. Der Inhaltszugriff trägt 20 % zur Note bei, der Ertrag pro Stunde ist also hoch.

Muss ich jedes Commerce-Protokoll unterstützen?

Nein. Die Agentic-Commerce-Ebene besteht mit jedem einzelnen Standard, denn „ein Agent kann Sie bezahlen“ ist eine Fähigkeit, um die vier Protokolle konkurrieren. Wählen Sie das passende: x402 für kostenpflichtige Endpunkte mit geringem Aufwand, ACP für den vollständigen Retail-Checkout, UCP, wenn Sie bereits OAuth-Token ausliefern.

Wie schnell wächst der Agenten-Traffic tatsächlich?

Schnell. KI-Bots erreichten 2025 im Netzwerk von Cloudflare 4,2 % der HTML-Anfragen (Cloudflare Radar, 2025), der Crawler-Anteil von GPTBot stieg bei den reinen Anfragen im Jahresvergleich um 305 % (Cloudflare, 2025), und die Retail-Besuche aus generativen KI-Quellen sprangen in acht Monaten um 1.200 % (Adobe, 2025).

Bleiben diese Prüfungen im nächsten Jahr gleich?

Nein, und das ist gut so. MCP wird die Aushandlung von Funktionen formalisieren, die WebMCP-Versionsdetails sind noch in Bewegung, und die Commerce-Protokolle werden sich konsolidieren. Wir nehmen Tests auf, sobald Standards landen, und ziehen sie zurück, sobald sie zum Standard werden. Die Form des Problems bleibt: Legen Sie klar offen, was Ihre Website kann, und zwar in den ersten paar Anfragen.

Was als Nächstes zu tun ist

Lassen Sie den Agent Protocol Readiness Checker gegen Ihre Startseite laufen, beheben Sie die drei wichtigsten Empfehlungen, lassen Sie ihn dann erneut laufen und beobachten Sie, wie anders Agenten Ihren Ursprung behandeln. Die Tests sind kostenlos, browserbasiert und liefern den rohen Serverbeweis hinter jedem Urteil.

Von dort aus gehen zwei begleitende Leitfäden tiefer. Lesen Sie wie Sie prüfen, ob KI-Crawler auf Ihre Website zugreifen können, um zu bestätigen, dass Ihre Robots-Regeln tun, was Sie meinen, und den kompletten Leitfaden zur Answer Engine Optimization, um die Inhalte, die diese Agenten erreichen, zitierwürdig zu machen.