एजेंट रेडीनेस: एजेंटिक वेब के लिए अपनी साइट कैसे तैयार करें

एजेंटिक वेब को अपने अलग ऑडिट की ज़रूरत क्यों है

अब आपके origin तक किसी भी इंसान से पहले एक नई तरह का विज़िटर पहुँचता है: ऐसा सॉफ़्टवेयर जो काम करता है। Cloudflare ने 2025 में अपने नेटवर्क पर सभी HTML अनुरोधों में AI बॉट ट्रैफ़िक 4.2% मापा (Cloudflare Radar 2025 Year in Review, 2025)। यह हिस्सा खरीदता है, बुक करता है और साइन इन करता है। Agent Protocol Readiness Checker यह ऑडिट करता है कि आपकी साइट उसे सेवा दे सकती है या नहीं।

मुख्य बातें

• AI बॉट पहले से ही Cloudflare के नेटवर्क पर लगभग 4.2% HTML अनुरोध चलाते हैं (Cloudflare Radar, 2025), और यह हिस्सा बढ़ रहा है।
• एजेंट आपके HTML को पार्स करने से पहले /.well-known/ पथ, कंटेंट निगोशिएशन और बॉट-ऑथ कुंजियों की जाँच करते हैं।
• चेकर पाँच परतों को स्कोर करता है: डिस्कवरी, कंटेंट एक्सेस, आइडेंटिटी, क्षमता और कॉमर्स।
• पहली बार चलने वाली अधिकांश साइटें 10 और 30 के बीच आती हैं। तीन लक्षित सुधार आमतौर पर उन्हें पासिंग ग्रेड तक पहुँचा देते हैं।
• सबसे अधिक वज़न वाली कमियों से शुरुआत करें: Markdown निगोशिएशन और प्रोटोकॉल डिस्कवरी मिलकर स्कोर का 45% रखते हैं।

ज़रा सोचिए कि एक आधुनिक एजेंट काम किस क्रम में करता है। वह आपके होमपेज को खोलकर किसी इंसान की तरह ऊपर से नीचे पढ़ना शुरू नहीं करता। वह जाँच करता है। वह पहले आपके सर्वर से कुछ तीखे सवाल पूछता है: क्या आप साफ़ Markdown देते हैं, क्या आप टूल मैनिफ़ेस्ट प्रकाशित करते हैं, क्या आप हस्ताक्षरित अनुरोध स्वीकार करते हैं, क्या आप भुगतान ले सकते हैं? सिर्फ़ इन जाँचों के विफल होने पर ही वह कच्चे HTML को स्क्रैप करने पर लौटता है, जो धीमा और नुकसानदेह होता है।

यही जाँचने वाला व्यवहार एजेंट रेडीनेस को एक अलग अनुशासन बनाता है। SEO यह तय करता है कि Google आपको कैसे रैंक करता है। Answer Engine Optimization यह तय करता है कि चैट असिस्टेंट आपको कैसे उद्धृत करते हैं। एजेंट रेडीनेस कुछ अलग ही तय करती है: क्या सॉफ़्टवेयर आपके साथ लेनदेन कर भी सकता है या नहीं। चेकर एक प्रोटोकॉल ऑडिट है, कंटेंट ऑडिट नहीं। यह आपको परत दर परत बताता है कि एक एजेंट कहाँ हार मान लेता है।

Agent Protocol Readiness Checker क्या मापता है?

चेकर एक URL के विरुद्ध 20 से अधिक जाँच चलाता है और उन्हें प्रभाव के अनुसार वज़न देकर पाँच स्कोर वाली परतों में समूहित करता है। प्रोटोकॉल डिस्कवरी और एजेंटिक कॉमर्स में से हर एक ग्रेड का 25% रखती है, कंटेंट एक्सेसिबिलिटी 20%, और डिस्कवरेबिलिटी एवं बॉट एक्सेस 15%-15%। हर जाँच कच्चे सर्वर साक्ष्य के साथ पास, चेतावनी या असफल लौटाती है।

चित्र 1: वे पाँच परतें जिनका एक एजेंट मूल्यांकन करता है, और अंतिम ग्रेड में हर एक का कितना वज़न होता है।

परतों में बाँटने का मक़सद क्रम है। जो एजेंट आपकी robots.txt नहीं ढूँढ पाता, वह कभी इस सवाल तक नहीं पहुँचता कि आप Markdown देते हैं या नहीं। जो एजेंट आपकी सामग्री साफ़-साफ़ नहीं पढ़ पाता, वह शायद ही यह जाँचने की परवाह करता है कि आप टूल प्रकाशित करते हैं या नहीं। विफलताएँ नीचे से ऊपर की ओर लुढ़कती जाती हैं, इसलिए निचली परतें ऊपर की हर चीज़ को रोक देती हैं।

उद्धरण कैप्सूल

Agent Protocol Readiness Checker 20 से अधिक जाँचों में पाँच वज़न वाली परतों को स्कोर करता है: डिस्कवरेबिलिटी और बॉट एक्सेस 15%-15%, कंटेंट एक्सेसिबिलिटी 20%, और प्रोटोकॉल डिस्कवरी एवं एजेंटिक कॉमर्स 25%-25%। हर जाँच कच्चे सर्वर साक्ष्य के साथ पास, चेतावनी या असफल लौटाती है। AI बॉट पहले से ही 4.2% HTML अनुरोध चलाते हैं (Cloudflare Radar, 2025)।

हमने इसे इसलिए बनाया क्योंकि मौजूदा उपकरण ग़लत सवाल का जवाब देते हैं। अधिकांश ऑडिट पूछते हैं कि “क्या Google इस पेज को रैंक करेगा।” हमें ऐसा एक चाहिए था जो पूछे कि “क्या कोई स्वायत्त एजेंट इंसान के बिना इस origin का उपयोग कर सकता है।” ये दोनों एक ही साइट नहीं हैं। कोई पेज बहुत बढ़िया रैंक कर सकता है और फिर भी किसी बुकिंग एजेंट के लिए एक बंद रास्ता हो सकता है।

एजेंट आपकी साइट को कैसे खोजते और पढ़ते हैं?

डिस्कवरी और कंटेंट एक्सेस पहली दो परतें हैं, और ये तय करती हैं कि कोई एजेंट कभी शुरुआत भी कर पाता है या नहीं। एजेंट पहले robots.txt हल करते हैं, फिर संकेतों के लिए Link रिस्पॉन्स हेडर पढ़ते हैं, फिर कंटेंट टाइप पर निगोशिएट करते हैं। अधिकांश origin Markdown निगोशिएशन पर शून्य स्कोर करते हैं, जबकि AI-मध्यस्थ ट्रैफ़िक के लिहाज़ से यही सबसे अच्छे रिटर्न वाला अकेला सुधार है।

चित्र 2: मानव वेब रेंडर किया हुआ HTML लौटाता है। एजेंटिक वेब कम चरणों में निगोशिएट किया गया Markdown लौटाता है।

डिस्कवरेबिलिटी: वे फाइलें जिन्हें एजेंट सबसे पहले हल करते हैं

तीन सादी फाइलें मंच तैयार कर देती हैं। RFC 9309 के अनुसार एक वैध robots.txt, एक sitemap जिसकी ओर robots फ़ाइल Sitemap: लाइन से इशारा करती है, और आपके होमपेज पर ऐसे Link रिस्पॉन्स हेडर जो /.well-known/ के अंतर्गत संसाधनों का संकेत देते हैं। जो एजेंट Link: </.well-known/mcp/server-card.json>; rel="mcp-server-card" पढ़ता है उसे बिना किसी अतिरिक्त राउंड ट्रिप के उसका अगला कदम मुफ़्त में मिल जाता है। robots फ़ाइल को हमारे Robots.txt Validator से जाँचें, और आज आपका origin क्या भेजता है उसे HTTP Header Checker से देखें।

कंटेंट एक्सेसिबिलिटी: अनुरोध पर Markdown परोसें

यहीं अधिकांश साइटें विफल होती हैं, और इसे ठीक करना सबसे सस्ता है। acceptmarkdown.com का प्रस्ताव कहता है कि जब कोई क्लाइंट Accept: text/markdown भेजे, तो आपके सर्वर को HTML के बजाय वही सामग्री Markdown के रूप में लौटानी चाहिए। चेकर यहाँ चार जाँच चलाता है।

पहली, यह पुष्टि करता है कि सर्वर हेडर का सम्मान करता है और Content-Type: text/markdown; charset=utf-8 लौटाता है। दूसरी, यह Vary: Accept की जाँच करता है। उस हेडर को छोड़ दें तो कोई CDN उस अगले एजेंट को कैश किया हुआ HTML बॉडी परोस सकता है जिसने Markdown माँगा था, और इससे उस कैश के पीछे मौजूद हर AI क्लाइंट के लिए जवाब बिगड़ जाता है। तीसरी, असमर्थित Accept टाइप को 406 Not Acceptable लौटाना चाहिए, चुपचाप HTML फ़ॉलबैक नहीं। चौथी, सर्वर को q-मानों का सम्मान करना चाहिए, ताकि text/markdown;q=1.0, text/html;q=0.1 सचमुच Markdown लौटाए।

हमारे अपने ऑडिट में, सामान्य पहली बार की जाँच यहाँ चार में से शून्य स्कोर करती है, और एक अकेला CDN वर्कर जो माँग पर HTML को Markdown में बदल देता है इन चारों को एक दोपहर में ठीक कर देता है। उसके बाद, हर एजेंट नेविगेशन क्रोम से जूझने के बजाय आपकी सामग्री की एक साफ़, टोकनयुक्त प्रति खींचता है। इस सवाल के कंटेंट-संरचना वाले पहलू के लिए, हमारा AI Readiness Checker यह स्कोर करता है कि आपके पेज कितनी अच्छी तरह पार्स होते हैं।

उद्धरण कैप्सूल

Markdown कंटेंट निगोशिएशन acceptmarkdown.com के प्रस्ताव का पालन करता है: जब कोई क्लाइंट Accept: text/markdown भेजता है, तो सर्वर Content-Type: text/markdown; charset=utf-8 और Vary: Accept के साथ Markdown लौटाता है। Vary को छोड़ देने से कोई CDN Markdown माँगने वाले एजेंटों को कैश किया हुआ HTML परोस सकता है, जिससे उस कैश के पीछे मौजूद हर AI क्लाइंट के जवाब बिगड़ जाते हैं।

आपको AI बॉट एक्सेस और आइडेंटिटी कैसे प्रबंधित करनी चाहिए?

मौन कोई नीति नहीं है। ऐसी डिफ़ॉल्ट robots.txt जो किसी AI एजेंट का नाम नहीं लेती, हर क्रॉलर को आपके इरादे का अनुमान लगाने पर छोड़ देती है, और ये अनुमान आपके ख़िलाफ़ जाते हैं। बॉट एक्सेस परत स्पष्ट नियमों, एक अलग कंटेंट-सिग्नल नीति, और एक प्रकाशित Web Bot Auth कुंजी निर्देशिका को पुरस्कृत करती है, ताकि आप एक असली एजेंट को उसका नाम पहनकर आए स्क्रैपर से अलग बता सकें।

GPTBot स्पष्ट होने का तर्क पेश करता है। मई 2024 की तुलना मई 2025 से करने पर, संयुक्त AI और सर्च क्रॉलर ट्रैफ़िक में GPTBot का हिस्सा 2.2% से बढ़कर 7.7% हो गया, यानी कच्चे अनुरोधों में 305% की वृद्धि, और यह रैंक नौ से रैंक तीन पर पहुँच गया (Cloudflare, 2025)। जब कोई एक एजेंट इतनी तेज़ी से बढ़ता है, तो “सब कुछ ब्लॉक करो” वाला ढुलमुल नियम आपको असली पहुँच से वंचित कर देता है।

robots.txt में एजेंटों का नाम लें

चेकर उन क्रॉलरों को लक्ष्य करने वाले नियमों को स्कैन करता है जो अब मायने रखते हैं: GPTBot, ChatGPT-User, OAI-SearchBot, ClaudeBot, Google-Extended, PerplexityBot, Meta-ExternalAgent, Applebot-Extended, Bytespider, CCBot, Amazonbot, और बहुत कुछ। तीन या अधिक नामित एजेंट एक पास अर्जित करते हैं। User-agent: GPTBot और फिर Allow: / लिखना एक सार्वजनिक प्रतिबद्धता है जिस पर कोई नीति इंजन भरोसा कर सकता है, और यह कुछ न कहने से बहुत अलग है। यदि आप अलग-अलग संस्करणों में क्रॉलर व्यवहार की पुष्टि करना चाहते हैं, तो हमारी सहयोगी गाइड GPTBot vs ChatGPT-User vs ClaudeBot यह स्पष्ट करती है कि कौन सा नाम क्या करता है।

Content Signals से प्रशिक्षण को रिट्रीवल से अलग करें

Cloudflare का Content Signals प्रस्ताव robots.txt के भीतर तीन निर्देश जोड़ता है: search, ai-input, और ai-train। ये आपको ग्राउंडेड उत्तरों की अनुमति देने देते हैं, ताकि आपका ब्रांड AI उद्धरणों में दिखता रहे, जबकि मॉडल प्रशिक्षण से इनकार करते हुए। चेकर किसी भी एक Content-Signal: निर्देश पर पास कर देता है। GPTBot को सीधे ब्लॉक करना एक भोंडा वार है जो उद्धरण और प्रशिक्षण दोनों को एक साथ ख़त्म कर देता है। हमारा विश्लेषण robots.txt में AI दृश्यता को क्या रोकता है आम ओवर-ब्लॉक को कवर करता है।

Web Bot Auth से एजेंटों को सत्यापित करें

Web Bot Auth एजेंटों को Ed25519 कीपेयर से अनुरोधों पर हस्ताक्षर करने देता है, और सार्वजनिक कुंजी को /.well-known/http-message-signature-directory पर एक JWKS के रूप में प्रकाशित करता है। यह प्रस्ताव से उत्पादन की ओर तेज़ी से बढ़ रहा है: AWS WAF ने नवंबर 2025 में Web Bot Auth समर्थन की घोषणा की (AWS, 2025), जबकि अंतर्निहित IETF कार्य के पीछे Cloudflare, Anthropic और OpenAI हैं। चेकर उस निर्देशिका की जाँच करता है और पुष्टि करता है कि वह JSON लौटाती है। इसके बिना, आप किसी वैध एजेंट को नक़ल करने वाले से अलग साबित नहीं कर सकते, और सत्यापित एजेंटों को कम रेट लिमिट और व्यापक पहुँच मिलती है।

कौन से प्रोटोकॉल एजेंटों को आपकी साइट को एक टूल की तरह इस्तेमाल करने देते हैं?

प्रोटोकॉल डिस्कवरी चेकर का हृदय है और 25% के साथ इसकी सबसे भारी परत है। यह उन /.well-known/ एंडपॉइंट और इन-पेज एनोटेशन को देखती है जो आपकी साइट को एक दस्तावेज़ से एक कॉल करने योग्य टूल में बदल देते हैं। यहाँ की नींव है Model Context Protocol, जिसे Anthropic ने 25 नवंबर 2024 को ओपन-सोर्स किया (Anthropic, 2024) और जिसे OpenAI तथा Google ने एक साल के भीतर अपना लिया।

MCP Server Card

/.well-known/mcp/server-card.json पर एक MCP Server Card आपके सर्वर के नाम, क्षमताओं, ट्रांसपोर्ट और ऑथ मॉडल का विज्ञापन करता है। चेकर उस पथ की जाँच करता है और /.well-known/mcp.json पर फ़ॉलबैक करता है। यदि आपके उत्पाद में कोई भी API है, तो Server Card वह बदलाव है जो आपकी साइट को “इसे स्क्रैप करो” से “इसे इन्वोक करो” में पलट देता है। जो एजेंट कार्ड ढूँढ लेता है वह HTML पार्स करना बंद कर देता है और फ़ंक्शन कॉल करना शुरू कर देता है, जो आपके लिए सस्ता और उपयोगकर्ता के लिए तेज़ है।

इन-ब्राउज़र एजेंटों के लिए WebMCP

MCP एक सर्वर-से-सर्वर दुनिया मानकर चलता है, लेकिन अब बहुत-सी एजेंट गतिविधि किसी ब्राउज़र टैब के भीतर होती है, और WebMCP उस कमी को भरता है। किसी /.well-known/ URL के बजाय, आप <form> तत्वों को सीधे टूल विशेषताओं के साथ एनोटेट करते हैं या <meta name="webmcp"> टैग के ज़रिए टूल घोषित करते हैं, जिससे पहले से पेज पर मौजूद एजेंट के सामने कॉल करने योग्य क्रियाएँ उजागर हो जाती हैं। यह प्रस्ताव 2025 में Google और Microsoft के संयुक्त प्रयास के रूप में आया और एक W3C कम्युनिटी ग्रुप ने इसे स्वीकार किया, जबकि Chrome ने एक शुरुआती प्रीव्यू शिप किया, इसलिए सटीक संस्करण संख्याओं को बदलते लक्ष्य मानकर चलें। चेकर आपके होमपेज को इनमें से किसी भी पैटर्न के लिए स्कैन करता है। व्यावहारिक सबक: यदि आपके कन्वर्ज़न पेज के भीतर होते हैं, तो अकेला सर्वर-साइड MCP एजेंटों को आपके फ़ॉर्म पर ही अटका छोड़ देता है।

API Catalog और OAuth डिस्कवरी

दो और डिस्कवरी सतहें इस परत को पूरा करती हैं। RFC 9727 /.well-known/api-catalog को आपके द्वारा उजागर हर API के एक application/linkset+json सूचक के रूप में परिभाषित करता है। कई origin यहाँ चेतावनी पाते हैं क्योंकि वे पथ को application/linkset+json के बजाय application/json के साथ परोसते हैं, जो एक-हेडर का सुधार है। फिर OAuth डिस्कवरी: /.well-known/oauth-authorization-server पर RFC 8414 मेटाडेटा एक एजेंट को बताता है कि ऑथ फ़्लो कैसे शुरू करें, और /.well-known/oauth-protected-resource पर RFC 9728 मेटाडेटा उसे 401 मिलने पर बताता है कि कौन सा जारीकर्ता और स्कोप इस्तेमाल करना है। OAuth डिस्कवरी के बिना, कोई एजेंट आपकी साइट पर किसी साइन-इन क्रिया को स्वचालित नहीं कर सकता।

उद्धरण कैप्सूल

Model Context Protocol, जिसे Anthropic ने 25 नवंबर 2024 को ओपन-सोर्स किया (Anthropic, 2024), एजेंटों को /.well-known/mcp/server-card.json पर एक MCP Server Card के ज़रिए कॉल करने योग्य टूल खोजने देता है। लगभग एक साल के भीतर OpenAI और Google ने इसे अपना लिया, जिससे MCP वह वास्तविक डिस्कवरी परत बन गई जिसे Agent Protocol Readiness Checker सबसे पहले जाँचता है।

क्या कोई एजेंट सचमुच आपको भुगतान कर सकता है?

एजेंटिक कॉमर्स सबसे नई परत है और 25% के साथ सबसे भारी परत की बराबरी पर है। सवाल सीधा है: जब कोई एजेंट अपने उपयोगकर्ता के लिए आपसे खरीदना चाहता है, तो वह लेनदेन कैसा दिखता है? Adobe Analytics ने पाया कि जुलाई 2024 और फ़रवरी 2025 के बीच जनरेटिव AI स्रोतों से अमेरिकी रिटेल साइटों पर विज़िट 1,200% बढ़ गए (Adobe, 2025)। रेफ़रल पहले से आ रहे हैं। चेकआउट को तैयार रहना होगा।

यहाँ से दाँव और बड़े हो जाते हैं। Gartner का अनुमान है कि 2028 तक AI एजेंट 15 ट्रिलियन डॉलर से अधिक के B2B खर्च में मध्यस्थता करेंगे (Gartner, via Digital Commerce 360, 2025)। एक पासिंग कॉमर्स स्कोर के लिए हर मानक का समर्थन ज़रूरी नहीं। इसके लिए कम से कम एक की ज़रूरत है, क्योंकि “एक एजेंट आपको भुगतान कर सकता है” एक अकेली क्षमता है जिसके मालिकाने के लिए चार प्रोटोकॉल आपस में प्रतिस्पर्धा करते हैं।

x402: सबसे कम प्रतिबद्धता वाला रास्ता

x402 HTTP स्थिति 402, “Payment Required,” को एक मशीन-पठनीय ऑफ़र हेडर के साथ पुनर्जीवित करता है जो मूल्य, मुद्रा और सेटलमेंट एंडपॉइंट को सूचीबद्ध करता है। एजेंट 402 प्राप्त करता है, एक भुगतान पर हस्ताक्षर करता है, फिर से सबमिट करता है, और संसाधन पा लेता है। इसे अपनाना वास्तविक है: Coinbase के x402 प्रोटोकॉल ने 2026 की शुरुआत तक Base नेटवर्क पर 10 करोड़ संचयी लेनदेन पार कर लिए (Crypto Briefing, 2026), जिसमें ऑन-चेन आँकड़े किसी तटस्थ ऑडिटर के बजाय परियोजना से लिए गए हैं। आप एक भुगतान वाला एंडपॉइंट चुनते हैं, शर्तों के साथ 402 लौटाते हैं, और आप चालू हो जाते हैं।

ACP: रिटेल के लिए पूरा चेकआउट

Agentic Commerce Protocol अधिक संपूर्ण सतह है। Stripe और OpenAI ने 29 सितंबर 2025 को ChatGPT में Instant Checkout के साथ ACP लॉन्च किया (Stripe Newsroom, 2025), जिसकी शुरुआत अमेरिकी Etsy विक्रेताओं और Glossier, Vuori, Spanx तथा SKIMS सहित दस लाख से अधिक Shopify व्यापारियों से हुई। ACP /.well-known/agentic-commerce पर रहता है और कैटलॉग, मूल्य निर्धारण, टैक्स, शिपिंग और रिटर्न का वर्णन करता है। यदि आप सामान बेचते हैं और चाहते हैं कि ChatGPT सीधे लेनदेन करे, तो यही वह लेन है।

UCP और MPP: हल्के और अधिक सामान्य

दो शुरुआती-चरण के विकल्प इस परत को पूरा करते हैं, और चेकर इन्हें तय हो चुके मानकों के बजाय उभरते हुए मानकों की तरह मानता है। UCP OAuth पर सवार होता है: आप अपने OAuth मेटाडेटा के भीतर ucp:scopes:checkout_session जैसे कॉमर्स स्कोप घोषित करते हैं, इसलिए यदि आप पहले से टोकन शिप करते हैं तो आप आधे रास्ते पर हैं। /.well-known/machine-payments पर विज्ञापित MPP सबसे सामान्य है, जो वर्णन करता है कि आप कौन-सी मशीन-से-मशीन रेल स्वीकार करते हैं, स्टेबलकॉइन से लेकर बैंक ट्रांसफ़र और प्रति-टोकन मीटरिंग तक। इनमें से किसी को भी MCP, ACP और x402 जैसा दस्तावेज़ित, प्राथमिक-स्रोत समर्थन हासिल नहीं है, इसलिए इन्हें अपने ही स्पेक से परिभाषित करें और देखें कि ये कैसे समेकित होते हैं।

आप स्कोर कैसे पढ़ें और कमियाँ कैसे ठीक करें?

चेकर पाँचों परतों को एक वज़न वाले A-से-F ग्रेड में बदल देता है। 85 से ऊपर के स्कोर को A मिलता है, 70 से 84 को B, और इससे कम ग्रेड जानबूझकर तेज़ी से गिरते हैं: D-श्रेणी की साइट टूल का विज्ञापन नहीं करती, Markdown नहीं परोसती, या एजेंट भुगतान स्वीकार नहीं करती, इसलिए एजेंट-संचालित ट्रैफ़िक के लिए वह एक पार्क किए गए डोमेन की तरह पढ़ी जाती है। हमारे ऑडिट में अधिकांश साइटें 10 और 30 के बीच शुरू होती हैं।

परत	वज़न
डिस्कवरेबिलिटी	15%
कंटेंट एक्सेसिबिलिटी	20%
बॉट एक्सेस कंट्रोल	15%
प्रोटोकॉल डिस्कवरी	25%
एजेंटिक कॉमर्स	25%

वह कम शुरुआती बिंदु अपेक्षित है, और इस पर काम किया जा सकता है। टूल सबसे अधिक असर वाले छह सुधार सामने लाता है, और उनमें से तीन को निपटाना आमतौर पर एक साइट को एक दिन के भीतर F से C तक पहुँचा देता है।

चीज़ों को ठीक करने का एक व्यावहारिक क्रम

परतों पर निर्भरता के क्रम में काम करें ताकि हर सुधार अगले का रास्ता खोले।

1. GPTBot, ClaudeBot, Google-Extended और PerplexityBot के लिए स्पष्ट User-agent: नियमों के साथ, और एक Sitemap: लाइन के साथ एक वैध robots.txt प्रकाशित करें। इसे Robots.txt Validator से जाँचें।
2. अपने CDN एज पर Markdown कंटेंट निगोशिएशन जोड़ें: Accept: text/markdown का सम्मान करें, Vary: Accept सेट करें, असमर्थित टाइप के लिए 406 लौटाएँ।
3. अपने रूट पर एक llms.txt प्रकाशित करें जो उन पेजों की ओर इशारा करे जिन्हें आप सबसे अधिक एजेंटों से उद्धृत करवाना चाहते हैं। इसे LLMs.txt Generator + Validator से जेनरेट और मान्य करें, और क्या आपको llms.txt चाहिए पर हमारा नज़रिया देखें।
4. /.well-known/mcp/server-card.json पर एक न्यूनतम MCP Server Card उजागर करें ताकि एजेंट आपके टूल खोज सकें।
5. एक असली प्रशिक्षण-बनाम-रिट्रीवल नीति प्रकाशित करने के लिए robots.txt में एक Content Signals निर्देश जोड़ें।
6. एक Web Bot Auth JWKS प्रकाशित करें ताकि सत्यापित एजेंट अनुरोधों पर हस्ताक्षर कर सकें।

जिन साइटों को हमने चेकर से चलाया है, उनमें यह क्रम एक सामान्य CDN और ऑथ स्टैक पर लगभग दो इंजीनियर-दिनों का काम है, और यह भरोसे के साथ एक origin को F से B तक ले जाता है। यह पुष्टि करने के लिए कि आपके robots नियम सचमुच क्रॉलरों को आने देते हैं, इसे हमारी गाइड यह कैसे जाँचें कि AI क्रॉलर आपकी साइट तक पहुँच सकते हैं या नहीं के साथ जोड़ें।

FAQ

क्या एजेंट रेडीनेस SEO और AEO से अलग है?

हाँ। SEO सर्च रैंकिंग को ट्यून करता है, और Answer Engine Optimization यह ट्यून करता है कि चैट असिस्टेंट आपको कैसे उद्धृत करते हैं। एजेंट रेडीनेस यह ट्यून करती है कि क्या सॉफ़्टवेयर आपके origin के साथ बिल्कुल भी लेनदेन कर सकता है: टूल खोजना, कंटेंट निगोशिएट करना, साइन इन करना और भुगतान करना। कोई पेज अच्छी रैंक कर सकता है और फिर भी किसी स्वायत्त बुकिंग एजेंट के लिए एक बंद रास्ता हो सकता है।

कौन सा सुधार सबसे तेज़ रिटर्न देता है?

Markdown कंटेंट निगोशिएशन। अधिकांश साइटें इस पर चार में से शून्य स्कोर करती हैं, फिर भी एक अकेला CDN वर्कर जो Accept: text/markdown का सम्मान करता है, Vary: Accept सेट करता है, और असमर्थित टाइप के लिए 406 लौटाता है, चारों जाँचों को एक दोपहर में ठीक कर देता है। कंटेंट एक्सेसिबिलिटी ग्रेड का 20% रखती है, इसलिए प्रति-घंटे अंकों के लिहाज़ से रिटर्न ऊँचा है।

क्या मुझे हर कॉमर्स प्रोटोकॉल का समर्थन करना ज़रूरी है?

नहीं। एजेंटिक कॉमर्स परत किसी भी एक मानक पर पास कर देती है, क्योंकि “एक एजेंट आपको भुगतान कर सकता है” एक अकेली क्षमता है जिसके मालिकाने के लिए चार प्रोटोकॉल प्रतिस्पर्धा करते हैं। वही चुनें जो फिट बैठे: कम-प्रतिबद्धता वाले भुगतान एंडपॉइंट के लिए x402, पूरे रिटेल चेकआउट के लिए ACP, और यदि आप पहले से OAuth टोकन शिप करते हैं तो UCP।

एजेंट ट्रैफ़िक सचमुच कितनी तेज़ी से बढ़ रहा है?

तेज़ी से। AI बॉट 2025 में Cloudflare के नेटवर्क पर 4.2% HTML अनुरोध तक पहुँच गए (Cloudflare Radar, 2025), GPTBot का क्रॉलर हिस्सा कच्चे अनुरोधों में साल-दर-साल 305% बढ़ा (Cloudflare, 2025), और जनरेटिव AI स्रोतों से रिटेल विज़िट आठ महीनों में 1,200% बढ़ गए (Adobe, 2025)।

क्या ये जाँचें अगले साल भी वैसी ही रहेंगी?

नहीं, और यह ठीक है। MCP क्षमता निगोशिएशन को औपचारिक बनाएगा, WebMCP के संस्करण विवरण अभी बदल रहे हैं, और कॉमर्स प्रोटोकॉल समेकित होंगे। जैसे-जैसे मानक तय होते हैं हम जाँचें जोड़ते हैं और जैसे-जैसे वे डिफ़ॉल्ट बनते हैं उन्हें हटा देते हैं। समस्या का स्वरूप कायम रहता है: पहले कुछ अनुरोधों में, स्पष्ट रूप से उजागर करें कि आपकी साइट क्या कर सकती है।

आगे क्या करें

अपने होमपेज के विरुद्ध Agent Protocol Readiness Checker चलाएँ, शीर्ष तीन अनुशंसाएँ ठीक करें, फिर इसे दोबारा चलाएँ और देखें कि एजेंट आपके origin के साथ कितने अलग ढंग से पेश आते हैं। ये जाँचें मुफ़्त हैं, ब्राउज़र-आधारित हैं, और हर निर्णय के पीछे का कच्चा सर्वर साक्ष्य लौटाती हैं।

वहाँ से, दो सहयोगी गाइड और गहराई में जाती हैं। यह पुष्टि करने के लिए कि आपके robots नियम वही करते हैं जो आप सोचते हैं, यह कैसे जाँचें कि AI क्रॉलर आपकी साइट तक पहुँच सकते हैं या नहीं पढ़ें, और उन एजेंटों तक पहुँचने वाली सामग्री को उद्धृत करने लायक बनाने के लिए Answer Engine Optimization की संपूर्ण गाइड पढ़ें।