Kesiapan Agen: Cara Mempersiapkan Situs Anda untuk Web Agen

Mengapa Kesiapan Agen Menjadi Masalahnya Sendiri Saat Ini

Selama bertahun-tahun, satu-satunya pengunjung yang harus Anda desain adalah manusia yang memiliki browser. Kemudian Google crawler muncul, dan SEO menjadi sebuah disiplin. Kemudian LLM crawlers tiba, dan Answer Engine Optimization menjadi hal berikutnya yang perlu Anda khawatirkan.

Sekarang pengunjung jenis ketiga ada di sini. Agen yang dibangun pada model OpenAI, Anthropic, dan Google menelusuri situs dengan niat. Mereka membaca halaman produk, mengisi formulir, menegosiasikan harga, dan memanggil API. Mereka juga memutuskan, dalam satu atau dua detik pertama, apakah situs Anda layak untuk dikunjungi pulang pergi.

Agen berperilaku kurang seperti crawlers dan lebih seperti power user yang tidak sabar. Mereka memeriksa jalur /.well-known/ sebelum menyentuh HTML Anda. Mereka mengirim Accept: text/markdown untuk melewati navigasi Anda. Mereka mencari Kartu Server MCP sehingga mereka dapat berkomunikasi dengan aplikasi Anda sebagai alat, bukan dokumen. Jika sinyal tersebut tidak ada, agen akan kembali menyalin HTML Anda (lambat dan hilang) atau beralih ke pesaing yang menguasai bahasa tersebut.

Inilah yang kami buat untuk mengukur Agent Protocol Readiness Checker. Ini bukan audit SEO. Ini adalah audit protokol. Ini memeriksa apakah situs Anda siap digunakan oleh agen daripada dibaca oleh seseorang.

Apa yang Dilakukan Pemeriksa Kesiapan Protokol Agen

Berikan alat tersebut URL. Ini menjalankan lebih dari 20 penyelidikan terhadap asal Anda dan mengelompokkan temuan ke dalam lima kategori penilaian:

• Kemampuan untuk ditemukan. Bisakah agen menemukan robots.txt, sitemap, dan header Link Anda?
• Aksesibilitas Konten. Apakah server Anda mengikuti Accept: text/markdown seperti yang dijelaskan dalam spesifikasiacceptmarkdown.com?
• Kontrol Akses Bot. Sudahkah Anda menulis kebijakan eksplisit untuk GPTBot, ClaudeBot, Google-Extention, dan PerplexityBot? Sudahkah Anda menerbitkan direktori kunci Web Bot Auth?
• Penemuan Protokol. Apakah Anda mengekspos Kartu Server MCP, manifes Keterampilan Agen, Katalog API RFC 9727, metadata penemuan OAuth, dan anotasi alat WebMCP?
• Agentic Commerce. Bisakah agen membayar Anda? Pemeriksa mencari sinyal x402, ACP, UCP, dan MPP.

Setiap pemeriksaan kembali lulus, memperingatkan, atau gagal, dengan bukti server di balik keputusan tersebut. Kegagalan dikumpulkan ke dalam daftar rekomendasi yang diprioritaskan, dan kategori digabungkan menjadi nilai tertimbang dari A hingga F. Tujuannya bukanlah skor sia-sia lainnya. Tujuannya adalah memberi Anda enam perbaikan yang paling akan mengubah cara agen memperlakukan situs Anda.

Mari kita telusuri apa yang sebenarnya diukur oleh masing-masing kategori dan mengapa hal itu penting.

1. Discoverability: Dasar-dasar yang Masih Menentukan Segalanya

Sebelum agen dapat menggunakan sesuatu yang lebih menarik, agen perlu mengetahui apa yang ada di tempat asal Anda. Itu dimulai dengan tiga file biasa.

robots.txt

Pemeriksa mengambil /robots.txt dan mengonfirmasi bahwa ia mengembalikan respons yang valid. RFC 9309 telah menjadi standar formal sejak tahun 2022, dan agen yang tidak dapat membaca file robot Anda berasumsi yang terburuk: Anda belum memikirkan akses mesin sama sekali. Jika Anda hanya melakukan satu hal dari postingan ini, publikasikan robots.txt yang valid. Robots.txt Validator kami menangkap kesalahan umum (BOM liar, jebakan wildcard, arahan Sitemap yang tidak dikutip).

Deklarasi Sitemap

sitemap di /sitemap.xml bagus. Baris Sitemap: di dalam robots.txt yang menunjuk ke sana lebih baik, karena agen menyelesaikan file robots terlebih dahulu. Pemeriksa memberi penghargaan pada situs yang melakukan keduanya.

Tautkan header tanggapan

Agen modern juga membaca header Link di beranda Anda untuk mendapatkan petunjuk tentang sumber daya di /.well-known/*. Situs yang melayani, misalnya, Link: </.well-known/mcp/server-card.json>; rel="mcp-server-card" memberi agen langkah selanjutnya tanpa harus melakukan perjalanan bolak-balik kedua. Jika Anda ingin melihat header apa yang dikirimkan asal Anda hari ini, jalankan melalui HTTP Header Checker kami.

Kemampuan untuk dapat ditemukan adalah kategori kecil (15% dari nilai akhir), namun kegagalan di sini terjadi secara bertahap. Jika robot rusak, kategori akses bot tidak dapat diverifikasi. Jika header Tautan tidak ada, kategori hilir harus menebaknya.

2. Aksesibilitas Konten: Pemeriksaan Negosiasi Penurunan HargaIni adalah kategori kegagalan sebagian besar situs. Ini juga merupakan cara termudah untuk memperbaikinya.

Proposal acceptmarkdown.com sederhana: ketika klien mengirim Accept: text/markdown, server harus mengembalikan konten yang sama seperti Markdown, bukan HTML. Agen menyukai ini karena HTML berisik. Menghapus chrome, navigasi, dan JavaScript dari suatu halaman akan memakan token dan menimbulkan kesalahan. Representasi penurunan harga artikel Anda berukuran setengahnya dan sepuluh kali lebih mudah untuk diurai.

Pemeriksa menjalankan empat pemeriksaan terhadap URL Anda:

1. Accept: text/markdown dihormati. Server harus mengembalikan Content-Type: text/markdown; charset=utf-8. Deklarasi UTF-8 penting karena agen memasukkan isi ke dalam tokenizer yang mengasumsikan pengkodean.
2. Vary: Accept disetel. Tanpa header ini, CDN yang menyimpan respons HTML dalam cache akan menyajikan HTML tersebut ke agen berikutnya yang meminta Penurunan Harga. Satu header yang hilang merusak seluruh asal untuk setiap klien AI di belakang CDN yang sama.
3. Jenis Terima yang tidak didukung menghasilkan 406. Jika agen mengirim Accept: application/x-weird-type, jawaban yang benar adalah 406 Not Acceptable, bukan fallback HTML senyap. Mengembalikan 406 memberi tahu logika percobaan ulang agen bahwa ia meminta hal yang salah.
4. nilai-q dihormati. Agen yang mengirimkan Accept: text/html;q=0.1, text/markdown;q=1.0 mengatakan “Saya akan mengambil HTML jika harus, tetapi saya lebih memilih Penurunan Harga.” Server harus menghormati bobot itu.

Kebanyakan negara asal mendapat nilai nol dari empat pada kategori ini. Pekerja CDN yang mengubah HTML menjadi Markdown sesuai permintaan memperbaiki keempatnya dalam satu sore. Imbalannya bertambah: setiap agen yang mengunjungi situs Anda sejak saat itu menarik representasi konten Anda yang bersih dan diberi token. Untuk mengetahui lebih dalam tentang cara agen membaca konten ramah AI, lihat AI Readiness Checker kami.

3. Kontrol Akses Bot: Mengatakan Ya dengan Jelasrobots.txt default tidak menjelaskan apa pun tentang agen AI. Keheningan ditafsirkan dalam dua cara, bergantung pada pelakunya. Ada yang beranggapan diam berarti “baiklah, lanjutkan”. Yang lain menganggap diam berarti “situs ini tidak ikut serta”. Kedua penafsiran tersebut merugikan Anda, karena tidak ada yang sesuai dengan apa yang sebenarnya Anda inginkan.

Pemeriksa Kesiapan Protokol Agen mencari tiga sinyal eksplisit.

Agen pengguna bot AI di robots.txt

Pemeriksa menelusuri robots.txt Anda untuk aturan yang menargetkan crawler yang penting saat ini: GPTBot, ChatGPT-User, OAI-SearchBot, ClaudeBot, Claude-Web, anthropic-ai, Google-Exended, PerplexityBot, Perplexity-Pengguna, Meta-ExternalAgent, Applebot-Exended, Bytespider, CCBot, cohere-ai, DuckAssistBot, Amazonbot, MistralAI-User. Tiga atau lebih agen yang disebutkan namanya mendapatkan izin. Daftar yang lebih pendek mendapat peringatan. Zero gagal, karena pada saat itu Anda tidak memiliki kebijakan AI sama sekali.

Menulis User-agent: GPTBot diikuti Allow: / tidak sama dengan tidak berkata apa-apa. Merupakan komitmen publik bahwa agen perusahaan tertentu dapat membaca situs Anda berdasarkan aturan tertentu. Komitmen tersebut sangat membebani ketika mesin kebijakan agen memutuskan apakah akan menjemput Anda.

Jika Anda ingin menyelidiki bagaimana bot AI tertentu saat ini berperilaku terhadap salah satu jalur Anda, AI Bot Path Tester kami akan menyimulasikan permintaan terhadap aturan di robots.txt langsung Anda.

Sinyal Konten Cloudflare

Cloudflare mengusulkan Content Signals pada akhir tahun 2025: tiga arahan (search, ai-input, ai-train) yang ada di dalam robots.txt dan mendeklarasikan kebijakan terpisah untuk crawling, pengambilan untuk respons, dan pelatihan. Pemeriksa memindai file robots Anda untuk mencari arahan Content-Signal:. Satu sudah cukup untuk lulus.

Konten Sinyal penting karena “blok GPTBot” adalah instrumen yang tumpul. Ini memblokir pelatihan, pengambilan, dan jawaban dasar dalam satu ayunan. Sinyal Konten memungkinkan Anda mengizinkan jawaban yang membumi (sehingga merek Anda muncul dalam kutipan ChatGPT) sambil memblokir pelatihan (sehingga konten Anda tidak dikompresi menjadi bobot model).

Otentikasi Bot Web

Web Bot Auth adalah bagian terbaru dari kategori ini. Agen menandatangani permintaan mereka dengan pasangan kunci Ed25519. Kunci publik dapat ditemukan di /.well-known/http-message-signature-directory sebagai JWKS. Ketika agen memasuki server Anda, Anda memverifikasi tanda tangan terhadap kunci yang dipublikasikan dan mengetahui dengan pasti agen mana yang mengirimkan permintaan.

Pemeriksa menyelidiki direktori tersebut dan mengonfirmasi bahwa ia mengembalikan JSON. Jika Anda belum memublikasikannya, Anda tidak dapat membedakan agen sah dari scraper yang memakai agen penggunanya. Kasus keamanan saja sudah cukup meyakinkan. Kasus praktisnya lebih besar: agen yang mendukung Web Bot Auth mendapatkan batas tarif yang lebih rendah dan akses ke lebih banyak situs Anda. Kunci yang diterbitkan akan segera dibayar kembali.

4. Penemuan Protokol: Titik Akhir yang TerkenalIni adalah inti dari alat dan kategori dengan bobot paling banyak (25% dari skor akhir). Ini juga merupakan bagian dari tumpukan agen yang berubah setiap bulan, sehingga pemeriksa bersandar pada titik akhir yang ditentukan dengan baik daripada trik khusus vendor.

Kartu Server MCP

Model Context Protocol adalah cara Claude, ChatGPT, dan semakin banyak agen menemukan alat yang dapat dipanggil di server jarak jauh. Kartu Server MCP di /.well-known/mcp/server-card.json mengiklankan nama server Anda, kemampuan, transportasi, dan model autentikasi. Pemeriksa memeriksa jalur tersebut dan kembali ke /.well-known/mcp.json jika jalur tersebut hilang.

Jika produk Anda memiliki API apa pun, Kartu Server MCP adalah langkah yang mengubah situs Anda dari dokumen menjadi alat. Agen yang menemukan Kartu Server berhenti melakukan scraping dan mulai memanggil. Itu adalah pengalaman yang lebih baik bagi pengguna dan interaksi yang lebih murah untuk Anda.

Keterampilan Agen

Agent Skills adalah format manifes baru yang ada di /.well-known/agent-skills/index.json. Ini melengkapi MCP dengan menjelaskan alur kerja yang dapat digunakan agen, bukan hanya alat: “buat pengiriman”, “ajukan pengembalian dana”, “cari pemesanan”. Pemeriksa memeriksa jalur tersebut dan mencari respons yang valid.

Jika situs Anda sudah menerbitkan spesifikasi OpenAPI atau Kartu Server MCP, pembuatan manifes Keterampilan Agen sebagian besar merupakan latihan penerjemahan. ROI-nya adalah Claude Code dan klien serupa akan menampilkan keahlian Anda kepada pengguna berdasarkan nama.

WebMCP

WebMCP adalah sepupu MCP di sisi browser. Daripada mengiklankan alat melalui /.well-known/ URL, Anda dapat membubuhi keterangan elemen <form> langsung di HTML dengan atribut toolname dan tooldescription, atau mendeklarasikan alat melalui tag <meta name="webmcp" ...>. Pemeriksa memindai HTML beranda Anda untuk mencari pola apa pun.

Manfaatnya adalah agen yang menggunakan halaman Anda di browser dapat menemukan dan menjalankan alat tersebut tanpa meninggalkan tab. WebMCP adalah sejumlah kecil markup untuk kelancaran agen dalam jumlah besar.

Katalog API (RFC 9727)

RFC 9727 mendefinisikan /.well-known/api-catalog sebagai penunjuk ke semua API yang diekspos asal Anda, yang berfungsi sebagai application/linkset+json. Pemeriksa mengonfirmasi bahwa titik akhir ada dan tipe kontennya benar. Banyak asal mendapat peringatan di sini: mereka melayani jalurnya, tetapi dengan application/json, bukan application/linkset+json. Memperbaiki tipe konten adalah satu header pada satu rute.

Penemuan OAuth

Dua spesifikasi penting di sini:

• RFC 8414 menjelaskan metadata Server Otorisasi OAuth di /.well-known/oauth-authorization-server. Hal ini memberi tahu agen cara memulai aliran OAuth terhadap penerbit Anda.
• RFC 9728 menjelaskan metadata Sumber Daya yang Dilindungi OAuth di /.well-known/oauth-protected-resource. Hal ini memberi tahu agen, ketika mencapai 401 dari API Anda, penerbit mana yang harus diautentikasi dan cakupan mana yang diminta.

Agen yang tidak dapat melakukan penemuan OAuth tidak dapat mengotomatiskan tindakan masuk di situs Anda tanpa campur tangan manusia. Jika produk Anda memiliki akun pengguna, publikasikan keduanya.

5. Perdagangan Agen: Bisakah Agen Membayar Anda?Ini adalah kategori terbaru dan yang paling mendapat penolakan dari para skeptis. Pertanyaan di bawahnya sangat jelas: ketika agen ingin membeli sesuatu dari Anda atas nama penggunanya, seperti apa transaksinya?

Pemeriksa mengukur empat jawaban yang bersaing.

x402

x402 menghidupkan kembali kode status HTTP 402 (“Pembayaran Diperlukan”) dan menambahkan header PAYMENT-REQUIRED dengan penawaran yang dapat dibaca mesin: harga, mata uang, jalur pembayaran yang diterima, titik akhir penyelesaian. Agen yang menerima 402 menandatangani pembayaran, mengirimkan kembali permintaan, dan mendapatkan sumber daya. Pemeriksa mencari status 402 atau header PAYMENT-REQUIRED di beranda Anda dan titik akhir mana pun yang diperiksa.

x402 adalah opsi dengan komitmen terendah. Anda memilih satu titik akhir berbayar, mengembalikan 402 dengan persyaratan, dan Anda masuk. Stripe, Coinbase, dan beberapa penyedia penyelesaian kripto mendukung aliran ini hari ini.

ACP (Protokol Perdagangan Agen)

ACP adalah standar OpenAI. Itu ada di /.well-known/agentic-commerce dan menjelaskan permukaan checkout yang lebih lengkap: katalog produk, harga, pajak, pengiriman, pengembalian. Jika Anda menjual barang fisik atau digital dan ingin ChatGPT bertransaksi langsung dengan toko Anda, ACP adalah jalurnya.

UCP (Protokol Perdagangan Universal)

UCP mendukung di OAuth. Anda mendeklarasikan cakupan perdagangan seperti ucp:scopes:checkout_session di dalam metadata Server OAuth OAuth Anda. Pemeriksa mengambil dokumen OAuth AS Anda dan mencari nilai ucp:scopes:*. Satu pertandingan menghasilkan izin.

UCP adalah protokol perdagangan yang paling ringan dari keempatnya karena menggunakan kembali lapisan OAuth yang sudah Anda miliki. Jika Anda mengirimkan token untuk apa pun, Anda sudah setengah jalan.

MPP (Protokol Pembayaran Mesin)

MPP, yang diiklankan di /.well-known/machine-payments, adalah yang paling umum. Ini bukan tentang alur pembayaran dan lebih banyak tentang mengiklankan jenis pembayaran mesin-ke-mesin yang diterima layanan Anda: stablecoin, jalur bank antar rekening, pengukuran per token.

Skor kelulusan dalam perdagangan tidak memerlukan keempatnya. Hal ini memerlukan setidaknya satu, karena “agen dapat membayar Anda” adalah kemampuan tunggal dengan empat standar yang bersaing untuk memilikinya. Pilih salah satu yang sesuai dengan bisnis Anda dan kirimkan.

Apa Arti Skor Akhir Sebenarnya

Alat ini menggabungkan lima skor kategori menjadi nilai keseluruhan yang tertimbang.

Kategori	Berat
Kemampuan untuk ditemukan	15%
Aksesibilitas Konten	20%
Kontrol Akses Bot	15%
Penemuan Protokol	25%
Perdagangan Agen	25%

Nilai di atas 85 mendapat nilai A. Antara 70 dan 84 mendapat nilai B. Nilai yang lebih rendah turun dengan cepat, dan itu disengaja. Situs yang mendapat skor di kisaran D bukan hanya tidak sempurna bagi agen; itu secara fungsional tidak terlihat oleh mereka. Itu tidak mengiklankan alat, tidak melayani penurunan harga, tidak menyatakan kebijakan bot, tidak mendukung pembayaran agen. Untuk sebagian kecil lalu lintas yang sudah digerakkan oleh agen, situs tersebut dibaca sebagai domain terparkir.

Sebagian besar situs yang kami audit mendapat skor antara 10 dan 30 pada penayangan pertama. Tidak apa-apa. Alat ini dirancang untuk menemui Anda di mana pun Anda berada dan menampilkan enam perubahan dengan pengaruh tertinggi. Memperbaiki ketiganya biasanya memindahkan situs dari F ke C dalam waktu kurang dari satu hari.

Cara Menjalankan Cek

Buka Agent Protocol Readiness Checker, tempel URL, dan tunggu sekitar sepuluh detik. Halaman hasil meliputi:

• Skor keseluruhan dan nilai huruf Anda.
• Lima kategori skor dengan status berwarna per cek.
• Bukti mentah (header, kode status, substring yang cocok) di balik setiap pemeriksaan, sehingga Anda dapat memverifikasi pembacaan alat terhadap log Anda sendiri.
• Daftar rekomendasi yang diprioritaskan dari perbaikan teratas.

Anda dapat menjalankan pemeriksaan terhadap domain pementasan, asal internal, dan produksi. Ini menghormati aturan keselamatan URL keluar dan membatasi pembacaan isi pada 512 KB sehingga server yang salah dikonfigurasi tidak dapat membakar batas kecepatan Anda.

Perintah Praktis untuk Memperbaiki Segala SesuatuJika Anda ingin pengangkatan yang cepat, lakukan hal berikut secara berurutan:

1. Publikasikan robots.txt yang valid dengan aturan User-agent: yang eksplisit untuk GPTBot, ClaudeBot, Google-Exended, dan PerplexityBot, ditambah arahan Sitemap:. Validasi dengan Robots.txt Validator kami.
2. Tambahkan negosiasi konten penurunan harga di tepi CDN Anda. Periksa header Accept, konversikan HTML ke Markdown dengan cepat, atur Content-Type: text/markdown; charset=utf-8 dan Vary: Accept. Kembalikan 406 untuk tipe yang tidak didukung.
3. Publikasikan llms.txt di root Anda dengan petunjuk ke halaman yang paling ingin Anda kutip oleh agen. Hasilkan dan validasi dengan LLMs.txt Generator and Validator kami.
4. Buka Kartu Server MCP di /.well-known/mcp/server-card.json. Bahkan kartu minimal (nama, deskripsi, versi, transportasi) membuka kunci penemuan agen.
5. Tambahkan Sinyal Konten ke robots.txt. Satu baris yang mendeklarasikan ai-input: yes, ai-train: no sudah cukup untuk lolos pemeriksaan dan menerbitkan kebijakan sebenarnya.
6. Publikasikan Web Bot Auth JWKS sehingga agen yang sah dapat menandatangani permintaan yang bertentangan dengan asal Anda.

Daftar tersebut kira-kira merupakan dua hari kerja insinyur untuk tim dengan CDN normal dan server autentikasi normal. Ini memindahkan situs dari F ke B, dan ini membuktikan asal usulnya di masa depan terhadap churn protokol agen tahun depan.

Seperti Apa Kesiapan Agen dalam Setahun

Daftar persis pemeriksaan yang dijalankan alat saat ini tidak akan sama dengan daftar pemeriksaan yang dijalankan dalam dua belas bulan. MCP akan meratifikasi spesifikasi negosiasi kemampuan formal. Keterampilan Agen akan digabungkan dengan, atau menggantikan, bagian OpenAPI. ACP, UCP, dan MPP akan dikonsolidasikan ke dalam standar yang lebih sedikit dan lebih kuat. Kami akan menambahkan probe saat mendarat dan menghentikan probe saat menjadi default.

Yang tidak berubah adalah bentuk permasalahannya. Agen memutuskan dalam beberapa permintaan pertama apakah situs Anda layak digunakan. Tugas Anda adalah memaparkan, dengan cepat dan jelas, apa yang dapat dilakukan situs Anda dan bagaimana menggunakannya. Setiap sinyal yang dicari pemeriksa adalah jalan pintas yang memungkinkan agen berkomitmen pada asal Anda alih-alih menyerah.

Jalankan Agent Protocol Readiness Checker di beranda Anda. Perbaiki tiga rekomendasi teratas. Jalankan lagi. Perhatikan betapa berbedanya agen memperlakukan situs Anda setelah ketiga perubahan tersebut terjadi.

Bacaan Terkait

• The Complete Guide to Answer Engine Optimization (AEO) and GEO
• AI Readiness Checker untuk struktur konten dan penilaian LLM crawl
• LLMs.txt Generator and Validator untuk menerbitkan peta bersih situs Anda ke model bahasa
• HTTP Header Checker untuk memverifikasi Vary, Link, dan agen header tipe konten bergantung pada