Kesiapan Agen: Cara Menyiapkan Situs Anda untuk Web Agen

Mengapa Web Agen Membutuhkan Auditnya Sendiri

Sebuah kelas pengunjung baru kini menjangkau server asal Anda sebelum manusia mana pun: perangkat lunak yang bertindak. Cloudflare mengukur trafik bot AI sebesar 4,2% dari seluruh permintaan HTML di jaringannya pada 2025 (Cloudflare Radar 2025 Year in Review, 2025). Porsi itu membeli, memesan, dan masuk akun. Agent Protocol Readiness Checker mengaudit apakah situs Anda mampu melayaninya.

Poin Penting

• Bot AI sudah mendorong sekitar 4,2% permintaan HTML di jaringan Cloudflare (Cloudflare Radar, 2025), dan porsi itu terus naik.
• Agen memeriksa jalur /.well-known/, negosiasi konten, dan kunci bot-auth sebelum sempat mengurai HTML Anda.
• Pemeriksa menilai lima lapisan: penemuan, akses konten, identitas, kapabilitas, dan perdagangan.
• Sebagian besar situs pada penayangan pertama mendapat nilai antara 10 dan 30. Tiga perbaikan terarah biasanya cukup membawa mereka ke nilai lulus.
• Mulailah dari celah berbobot tertinggi: negosiasi Markdown dan penemuan protokol bersama-sama menyumbang 45% dari nilai.

Pikirkan urutan kerja agen modern. Ia tidak membuka beranda Anda lalu mulai membaca dari atas ke bawah seperti manusia. Ia menyelidik. Pertama-tama ia mengajukan beberapa pertanyaan tajam ke server Anda: apakah Anda menyajikan Markdown yang bersih, apakah Anda menerbitkan manifes alat, apakah Anda menerima permintaan bertanda tangan, bisakah Anda memproses pembayaran? Hanya jika penyelidikan itu gagal, ia kembali ke pengikisan HTML mentah, yang lambat dan banyak kehilangan informasi.

Perilaku penyelidikan itulah alasan kesiapan agen menjadi disiplin tersendiri. SEO menyetel cara Google memberi peringkat. Answer Engine Optimization menyetel cara asisten percakapan mengutip Anda. Kesiapan agen menyetel sesuatu yang berbeda: apakah perangkat lunak sama sekali bisa bertransaksi dengan Anda. Pemeriksa ini adalah audit protokol, bukan audit konten. Ia memberi tahu Anda, lapis demi lapis, di mana seorang agen menyerah.

Apa yang Diukur Agent Protocol Readiness Checker?

Pemeriksa menjalankan lebih dari 20 penyelidikan terhadap sebuah URL dan mengelompokkannya ke dalam lima lapisan bernilai, dengan bobot sesuai dampak. Penemuan protokol dan agentic commerce masing-masing menyumbang 25% dari nilai, aksesibilitas konten 20%, serta kemampuan ditemukan dan akses bot masing-masing 15%. Setiap penyelidikan mengembalikan lulus, peringatan, atau gagal beserta bukti mentah dari server.

Gambar 1: Lima lapisan yang dievaluasi seorang agen, dan seberapa besar bobot masing-masing dalam nilai akhir.

Inti dari pelapisan ini adalah urutan. Agen yang tidak dapat menemukan robots.txt Anda tidak akan pernah sampai pada pertanyaan apakah Anda menyajikan Markdown. Agen yang tidak dapat membaca konten Anda dengan bersih jarang repot memeriksa apakah Anda menerbitkan alat. Kegagalan menjalar ke bawah, sehingga lapisan-lapisan bawah menjadi gerbang bagi semua yang ada di atasnya.

Kapsul kutipan

Agent Protocol Readiness Checker menilai lima lapisan berbobot melalui lebih dari 20 penyelidikan: kemampuan ditemukan dan akses bot masing-masing 15%, aksesibilitas konten 20%, serta penemuan protokol ditambah agentic commerce masing-masing 25%. Setiap penyelidikan mengembalikan lulus, peringatan, atau gagal dengan bukti server mentah. Bot AI sudah mendorong 4,2% permintaan HTML (Cloudflare Radar, 2025).

Kami membangunnya karena perkakas yang ada menjawab pertanyaan yang keliru. Sebagian besar audit bertanya “akankah Google memberi peringkat halaman ini.” Kami butuh yang bertanya “bisakah agen otonom menggunakan server asal ini tanpa manusia.” Keduanya bukan situs yang sama. Sebuah halaman bisa mendapat peringkat sangat baik dan tetap menjadi jalan buntu bagi agen pemesanan.

Bagaimana Agen Menemukan dan Membaca Situs Anda?

Penemuan dan akses konten adalah dua lapisan pertama, dan keduanya menentukan apakah seorang agen sempat memulai sama sekali. Agen menyelesaikan robots.txt terlebih dahulu, lalu membaca header respons Link untuk mendapat petunjuk, kemudian menegosiasikan tipe konten. Sebagian besar server asal mendapat nilai nol pada negosiasi Markdown, padahal itulah satu perbaikan dengan imbal hasil terbaik atas upaya untuk trafik yang dimediasi AI.

Gambar 2: Web manusia mengembalikan HTML yang dirender. Web agen mengembalikan Markdown hasil negosiasi dalam lebih sedikit langkah.

Kemampuan ditemukan: berkas yang diselesaikan agen lebih dulu

Tiga berkas sederhana menyiapkan meja. robots.txt yang valid menurut RFC 9309, sitemap yang ditunjuk oleh berkas robots dengan baris Sitemap:, dan header respons Link di beranda Anda yang mengisyaratkan sumber daya di /.well-known/. Agen yang membaca Link: </.well-known/mcp/server-card.json>; rel="mcp-server-card" mendapatkan langkah berikutnya secara cuma-cuma, tanpa perjalanan bolak-balik tambahan. Validasi berkas robots dengan Robots.txt Validator kami, dan periksa apa yang dikirim server asal Anda hari ini dengan HTTP Header Checker.

Aksesibilitas konten: sajikan Markdown saat diminta

Di sinilah sebagian besar situs gagal, dan justru ini yang paling murah diperbaiki. Proposal acceptmarkdown.com menyatakan bahwa ketika klien mengirim Accept: text/markdown, server Anda seharusnya mengembalikan konten yang sama sebagai Markdown alih-alih HTML. Pemeriksa menjalankan empat penyelidikan di sini.

Pertama, ia memastikan server menghormati header itu dan mengembalikan Content-Type: text/markdown; charset=utf-8. Kedua, ia memeriksa keberadaan Vary: Accept. Lewatkan header itu dan sebuah CDN bisa menyajikan body HTML yang tersimpan di cache kepada agen berikutnya yang meminta Markdown, meracuni respons bagi setiap klien AI di balik cache tersebut. Ketiga, tipe Accept yang tidak didukung seharusnya mengembalikan 406 Not Acceptable, bukan fallback HTML diam-diam. Keempat, server seharusnya menghormati nilai-q, sehingga text/markdown;q=1.0, text/html;q=0.1 benar-benar mengembalikan Markdown.

Dalam audit kami sendiri, penayangan pertama yang lazim mendapat nilai nol dari empat di sini, dan satu CDN worker yang mengubah HTML menjadi Markdown sesuai permintaan memperbaiki keempatnya dalam satu sore. Setelah itu, setiap agen menarik salinan konten Anda yang bersih dan ter-tokenisasi alih-alih bergulat dengan elemen navigasi. Untuk sisi struktur konten dari pertanyaan ini, AI Readiness Checker kami menilai seberapa baik halaman Anda diurai.

Kapsul kutipan

Negosiasi konten Markdown mengikuti proposal acceptmarkdown.com: ketika klien mengirim Accept: text/markdown, server mengembalikan Markdown dengan Content-Type: text/markdown; charset=utf-8 dan Vary: Accept. Melewatkan Vary membuat CDN menyajikan HTML dari cache kepada agen yang meminta Markdown, merusak respons bagi setiap klien AI di balik cache tersebut.

Bagaimana Sebaiknya Anda Mengelola Akses dan Identitas Bot AI?

Diam bukanlah kebijakan. robots.txt bawaan yang tidak menyebut satu pun agen AI membuat setiap crawler menebak-nebak maksud Anda, dan tebakannya merugikan Anda. Lapisan akses bot memberi penghargaan pada aturan eksplisit, kebijakan content-signals terpisah, dan direktori kunci Web Bot Auth yang terpublikasi sehingga Anda bisa membedakan agen asli dari scraper yang memakai namanya.

GPTBot menjadi contoh kuat pentingnya bersikap eksplisit. Membandingkan Mei 2024 dengan Mei 2025, porsi GPTBot atas gabungan trafik crawler AI dan pencarian naik dari 2,2% menjadi 7,7%, lonjakan 305% dalam permintaan mentah, yang menggesernya dari peringkat sembilan ke peringkat tiga (Cloudflare, 2025). Ketika satu agen tumbuh secepat itu, aturan menyeluruh “blokir semua” merenggut jangkauan nyata Anda.

Sebut nama agen di robots.txt

Pemeriksa memindai aturan yang menargetkan crawler yang relevan saat ini: GPTBot, ChatGPT-User, OAI-SearchBot, ClaudeBot, Google-Extended, PerplexityBot, Meta-ExternalAgent, Applebot-Extended, Bytespider, CCBot, Amazonbot, dan lainnya. Tiga atau lebih agen yang disebut namanya mendapat lulus. Menuliskan User-agent: GPTBot lalu Allow: / adalah komitmen publik yang bisa diandalkan oleh sebuah policy engine, sangat berbeda dari tidak mengatakan apa pun. Jika Anda ingin memastikan perilaku crawler antarversi, panduan saudara kami tentang GPTBot vs ChatGPT-User vs ClaudeBot menguraikan peran tiap nama.

Pisahkan pelatihan dari pengambilan dengan Content Signals

Proposal Content Signals dari Cloudflare menambahkan tiga arahan di dalam robots.txt: search, ai-input, dan ai-train. Arahan itu memungkinkan Anda mengizinkan jawaban yang berbasis sumber, sehingga merek Anda tetap muncul dalam kutipan AI, sambil menolak pelatihan model. Pemeriksa memberi lulus untuk satu arahan Content-Signal: saja. Memblokir GPTBot mentah-mentah adalah ayunan tumpul yang melenyapkan kutipan dan pelatihan sekaligus. Uraian kami tentang apa yang memblokir visibilitas AI di robots.txt membahas pemblokiran berlebih yang umum terjadi.

Verifikasi agen dengan Web Bot Auth

Web Bot Auth memungkinkan agen menandatangani permintaan dengan sepasang kunci Ed25519, menerbitkan kunci publik sebagai JWKS di /.well-known/http-message-signature-directory. Ia bergerak cepat dari proposal ke produksi: AWS WAF mengumumkan dukungan Web Bot Auth pada November 2025 (AWS, 2025), dengan Cloudflare, Anthropic, dan OpenAI di balik kerja IETF yang mendasarinya. Pemeriksa menyelidiki direktori itu dan memastikan ia mengembalikan JSON. Tanpa itu, Anda tidak bisa membuktikan mana agen sah dan mana pemalsu, dan agen yang terverifikasi mendapat batas laju lebih longgar serta akses lebih luas.

Protokol Apa yang Membuat Agen Bisa Memakai Situs Anda sebagai Alat?

Penemuan protokol adalah jantung pemeriksa dan lapisannya yang paling berat, 25%. Ia melihat endpoint /.well-known/ dan anotasi dalam halaman yang mengubah situs Anda dari dokumen menjadi alat yang dapat dipanggil. Jangkar di sini adalah Model Context Protocol, yang dirilis Anthropic sebagai sumber terbuka pada 25 November 2024 (Anthropic, 2024) dan diadopsi OpenAI serta Google dalam waktu setahun.

MCP Server Card

MCP Server Card di /.well-known/mcp/server-card.json mengiklankan nama server Anda, kapabilitas, transport, dan model auth. Pemeriksa menyelidiki jalur itu dan beralih ke /.well-known/mcp.json sebagai cadangan. Jika produk Anda punya API sama sekali, Server Card adalah perubahan yang membalik situs Anda dari “kikis saja” menjadi “panggil saja”. Agen yang menemukan kartu berhenti mengurai HTML dan mulai memanggil fungsi, yang lebih murah bagi Anda dan lebih cepat bagi pengguna.

WebMCP untuk agen di dalam browser

MCP mengandaikan dunia server-ke-server, tetapi banyak aktivitas agen kini terjadi di dalam tab browser, dan WebMCP mengisi celah itu. Alih-alih sebuah URL /.well-known/, Anda memberi anotasi pada elemen <form> secara langsung dengan atribut alat atau mendeklarasikan alat melalui tag <meta name="webmcp">, sehingga tindakan yang dapat dipanggil terbuka bagi agen yang sudah berada di halaman. Proposalnya muncul sebagai upaya bersama Google dan Microsoft pada 2025 dan diterima oleh sebuah W3C Community Group, dengan Chrome merilis pratinjau awal, jadi anggaplah nomor versi pastinya masih berubah-ubah. Pemeriksa memindai beranda Anda untuk salah satu pola itu. Pelajaran praktisnya: jika konversi Anda terjadi di dalam halaman, MCP sisi server saja membuat agen tersangkut di formulir Anda.

API Catalog dan penemuan OAuth

Dua permukaan penemuan lain melengkapi lapisan ini. RFC 9727 mendefinisikan /.well-known/api-catalog sebagai penunjuk application/linkset+json ke setiap API yang Anda paparkan. Banyak server asal mendapat peringatan di sini karena menyajikan jalur itu dengan application/json, perbaikan satu header. Lalu penemuan OAuth: metadata RFC 8414 di /.well-known/oauth-authorization-server memberi tahu agen cara memulai alur auth, dan metadata RFC 9728 di /.well-known/oauth-protected-resource memberi tahu, pada respons 401, issuer dan scope mana yang harus dipakai. Tanpa penemuan OAuth, tak ada agen yang bisa mengotomatiskan tindakan dengan status masuk di situs Anda.

Kapsul kutipan

Model Context Protocol, yang dirilis Anthropic sebagai sumber terbuka pada 25 November 2024 (Anthropic, 2024), memungkinkan agen menemukan alat yang dapat dipanggil melalui MCP Server Card di /.well-known/mcp/server-card.json. Dalam waktu kira-kira setahun, OpenAI dan Google mengadopsinya, menjadikan MCP sebagai lapisan penemuan de-facto yang pertama kali diselidiki Agent Protocol Readiness Checker.

Bisakah Agen Benar-Benar Membayar Anda?

Agentic commerce adalah lapisan terbaru dan seimbang sebagai yang terberat, 25%. Pertanyaannya tajam: ketika agen ingin membeli dari Anda untuk penggunanya, seperti apa transaksi itu? Adobe Analytics menemukan bahwa kunjungan ke situs ritel AS dari sumber AI generatif melonjak 1.200% antara Juli 2024 dan Februari 2025 (Adobe, 2025). Rujukannya sudah berdatangan. Checkout-nya harus siap.

Taruhannya semakin besar dari sini. Gartner memperkirakan agen AI akan memediasi lebih dari 15 triliun dolar AS belanja B2B pada 2028 (Gartner, via Digital Commerce 360, 2025). Nilai perdagangan yang lulus tidak menuntut Anda mendukung setiap standar. Ia menuntut setidaknya satu, karena “agen bisa membayar Anda” adalah satu kapabilitas dengan empat protokol yang bersaing memilikinya.

x402: jalur dengan komitmen paling rendah

x402 menghidupkan kembali status HTTP 402, “Payment Required,” dengan header penawaran yang dapat dibaca mesin berisi harga, mata uang, dan endpoint penyelesaian. Agen menerima 402, menandatangani pembayaran, mengirim ulang, lalu mendapat sumber daya. Adopsinya nyata: protokol x402 dari Coinbase melampaui 100 juta transaksi kumulatif di jaringan Base pada awal 2026 (Crypto Briefing, 2026), dengan angka on-chain yang bersumber dari proyeknya sendiri, bukan auditor netral. Anda memilih satu endpoint berbayar, mengembalikan 402 dengan syaratnya, dan Anda pun aktif.

ACP: checkout penuh untuk ritel

Agentic Commerce Protocol adalah permukaan yang lebih lengkap. Stripe dan OpenAI meluncurkan ACP bersama Instant Checkout di ChatGPT pada 29 September 2025 (Stripe Newsroom, 2025), dimulai dari penjual Etsy AS dan lebih dari satu juta merchant Shopify termasuk Glossier, Vuori, Spanx, dan SKIMS. ACP berada di /.well-known/agentic-commerce dan menjelaskan katalog, harga, pajak, pengiriman, dan pengembalian. Jika Anda menjual barang dan ingin ChatGPT bertransaksi langsung, inilah jalurnya.

UCP dan MPP: lebih ringan dan lebih umum

Dua opsi tahap awal melengkapi lapisan ini, dan pemeriksa memperlakukannya sebagai standar yang sedang muncul, bukan yang sudah mapan. UCP menumpang pada OAuth: Anda mendeklarasikan scope perdagangan seperti ucp:scopes:checkout_session di dalam metadata OAuth Anda, jadi jika Anda sudah mengeluarkan token, Anda sudah setengah jalan. MPP, yang diiklankan di /.well-known/machine-payments, adalah yang paling umum, menjelaskan jalur pembayaran mesin-ke-mesin mana yang Anda terima, mulai dari stablecoin, transfer bank, hingga penagihan per token. Tak satu pun punya dukungan terdokumentasi dari sumber primer sebagaimana yang dimiliki MCP, ACP, dan x402, jadi definisikan keduanya dari spesifikasi Anda sendiri dan amati bagaimana mereka berkonsolidasi.

Bagaimana Cara Membaca Nilai dan Memperbaiki Celahnya?

Pemeriksa menggulung lima lapisan menjadi nilai berbobot A hingga F. Nilai di atas 85 mendapat A, 70 sampai 84 mendapat B, dan nilai yang lebih rendah merosot tajam dengan sengaja: situs di rentang D tidak mengiklankan alat, tidak menyajikan Markdown, dan tidak menerima pembayaran agen, sehingga bagi trafik yang digerakkan agen ia terbaca seperti domain parkir. Dalam audit kami, sebagian besar situs mulai antara 10 dan 30.

Lapisan	Bobot
Kemampuan Ditemukan	15%
Aksesibilitas Konten	20%
Kontrol Akses Bot	15%
Penemuan Protokol	25%
Agentic Commerce	25%

Titik awal yang rendah itu memang sudah diperkirakan, dan bisa ditangani. Alat ini memunculkan enam perbaikan dengan daya ungkit tertinggi, dan menyelesaikan tiga di antaranya biasanya membawa sebuah situs dari F ke C dalam sehari.

Urutan praktis untuk memperbaiki

Kerjakan lapisan sesuai urutan ketergantungan agar setiap perbaikan membuka jalan bagi yang berikutnya.

1. Terbitkan robots.txt yang valid dengan aturan User-agent: eksplisit untuk GPTBot, ClaudeBot, Google-Extended, dan PerplexityBot, ditambah baris Sitemap:. Validasi dengan Robots.txt Validator.
2. Tambahkan negosiasi konten Markdown di tepi CDN Anda: hormati Accept: text/markdown, setel Vary: Accept, kembalikan 406 untuk tipe yang tidak didukung.
3. Terbitkan llms.txt di root Anda yang menunjuk ke halaman yang paling ingin Anda kutip oleh agen. Buat dan validasi dengan LLMs.txt Generator + Validator, dan baca pandangan kami tentang apakah Anda butuh llms.txt.
4. Paparkan MCP Server Card minimal di /.well-known/mcp/server-card.json agar agen dapat menemukan alat Anda.
5. Tambahkan satu arahan Content Signals ke robots.txt untuk menerbitkan kebijakan pelatihan-versus-pengambilan yang nyata.
6. Terbitkan JWKS Web Bot Auth agar agen yang terverifikasi dapat menandatangani permintaan.

Di seluruh situs yang kami jalankan melalui pemeriksa, urutan itu kira-kira setara dua hari kerja insinyur pada tumpukan CDN dan auth normal, dan secara andal membawa server asal dari F ke B. Untuk memastikan aturan robots Anda benar-benar meloloskan crawler, padukan ini dengan panduan kami tentang cara memeriksa apakah crawler AI dapat mengakses situs Anda.

FAQ

Apakah kesiapan agen berbeda dari SEO dan AEO?

Ya. SEO menyetel peringkat pencarian, dan Answer Engine Optimization menyetel cara asisten percakapan mengutip Anda. Kesiapan agen menyetel apakah perangkat lunak sama sekali bisa bertransaksi dengan server asal Anda: menemukan alat, menegosiasikan konten, masuk akun, dan membayar. Sebuah halaman bisa berperingkat baik dan tetap menjadi jalan buntu bagi agen pemesanan otonom.

Perbaikan mana yang memberi imbal hasil tercepat?

Negosiasi konten Markdown. Sebagian besar situs mendapat nilai nol dari empat untuk ini, padahal satu CDN worker yang menghormati Accept: text/markdown, menyetel Vary: Accept, dan mengembalikan 406 untuk tipe yang tidak didukung memperbaiki keempat penyelidikan dalam satu sore. Aksesibilitas konten menyumbang 20% dari nilai, jadi imbal hasil per jamnya tinggi.

Apakah saya perlu mendukung setiap protokol perdagangan?

Tidak. Lapisan agentic commerce lulus dengan satu standar saja, karena “agen bisa membayar Anda” adalah satu kapabilitas dengan empat protokol yang bersaing memilikinya. Pilih yang sesuai: x402 untuk endpoint berbayar dengan komitmen rendah, ACP untuk checkout ritel penuh, UCP jika Anda sudah mengeluarkan token OAuth.

Seberapa cepat trafik agen sebenarnya tumbuh?

Cepat. Bot AI mencapai 4,2% permintaan HTML di jaringan Cloudflare pada 2025 (Cloudflare Radar, 2025), porsi crawler GPTBot naik 305% dalam permintaan mentah dari tahun ke tahun (Cloudflare, 2025), dan kunjungan ritel dari sumber AI generatif melonjak 1.200% dalam delapan bulan (Adobe, 2025).

Apakah pemeriksaan ini akan tetap sama tahun depan?

Tidak, dan itu wajar. MCP akan memformalkan negosiasi kapabilitas, detail versi WebMCP masih bergerak, dan protokol perdagangan akan berkonsolidasi. Kami menambah penyelidikan saat standar mendarat dan memensiunkannya saat menjadi bawaan. Bentuk masalahnya tetap: paparkan apa yang bisa dilakukan situs Anda, dengan jelas, dalam beberapa permintaan pertama.

Apa yang Harus Dilakukan Selanjutnya

Jalankan Agent Protocol Readiness Checker pada beranda Anda, perbaiki tiga rekomendasi teratas, lalu jalankan lagi dan amati betapa berbedanya agen memperlakukan server asal Anda. Penyelidikannya gratis, berbasis browser, dan mengembalikan bukti server mentah di balik setiap keputusan.

Dari sana, dua panduan saudara menggali lebih dalam. Baca cara memeriksa apakah crawler AI dapat mengakses situs Anda untuk memastikan aturan robots Anda berfungsi seperti yang Anda kira, dan panduan lengkap Answer Engine Optimization untuk membuat konten yang dijangkau agen itu layak dikutip.