AI Crawler टॉगल करता है
AI खोज दृश्यता के लिए पुनर्प्राप्ति बॉट allowed को रखते हुए एक क्लिक में GPTBot और ClaudeBot जैसे प्रशिक्षण बॉट को ब्लॉक करें।
मुफ़्त Robots.txt Generator
टीएल;डीआर: Robots.txt Generator आपको प्रति-बॉट नियमों और AI crawler नियंत्रणों के साथ robots.txt फ़ाइलें बनाने में मदद करता है। तुरंत जांच करें, प्राथमिकता वाले निष्कर्षों की समीक्षा करें, और ऐसे सुधार लागू करें जो बिना किसी साइनअप बाधा के crawl गुणवत्ता, उत्तर निकालने की क्षमता और एआई उद्धरण तैयारी में सुधार करते हैं।
प्रति बॉट crawl नियम सेट करें, एक क्लिक में AI प्रशिक्षण स्क्रेपर्स को ब्लॉक करें, और sitemap निर्देश जोड़ें।
अद्यतन किया गया
Loading tool interface...
प्रति-बॉट नियम ब्लॉक एआई प्रशिक्षण बॉट प्रीसेट Allow/Disallow बिल्डर Sitemap निर्देश लाइव आउटपुट पूर्वावलोकन
Robots.txt Generator क्या है?
Robots.txt Generator एक फॉर्म-आधारित इंटरफ़ेस के माध्यम से एक वैध robots.txt फ़ाइल बनाता है। आप User-agent ब्लॉक जोड़ते हैं, Allow और Disallow पथ सेट करते हैं, AI प्रशिक्षण बॉट को चालू या बंद करते हैं, और Sitemap निर्देश संलग्न करते हैं। जैसे ही आप संपादित करते हैं आउटपुट अपडेट लाइव हो जाते हैं।
यह SEO के लिए क्यों मायने रखता है: एक भी गलत Disallow लाइन आपके सर्वोत्तम पृष्ठों को Google से छिपा सकती है। निर्देशित प्रपत्र के माध्यम से नियम बनाने से सिंटैक्स अनुमान हटा दिया जाता है और आपको शिप करने से पहले प्रत्येक निर्देश की समीक्षा करने की सुविधा मिलती है।
AI Crawler नियंत्रण: पुनर्प्राप्ति बॉट (ChatGPT-User, Claude-SearchBot, PerplexityBot) रखते हुए प्रशिक्षण-विशिष्ट बॉट (GPTBot, Google-Extended, ClaudeBot, CCBot, Bytespider) को ब्लॉक करें। allowed. एक बटन पूरा सेट जोड़ता है।
मल्टी-बॉट परिशुद्धता: Googlebot को व्यापक पहुंच दें, बिंगबॉट से आंतरिक टूलींग पथ प्रतिबंधित करें, स्क्रेपर्स को ब्लॉक करेंrely। प्रत्येक बॉट को अपना स्वयं का नियम ब्लॉक मिलता है।
Sitemap डिस्कवरी: एक या अधिक Sitemap निर्देश संलग्न करें ताकि crawlers आपके XML sitemaps को Search Console सबमिशन पर निर्भर हुए बिना ढूंढ सके।
When should you use Robots.txt Generator?
Robots.txt Generator is most useful when you need a direct answer on a live URL or draft before you change templates, ship content, or rerun a wider audit.
इस टूल का उपयोग कैसे करें
- 1 प्रत्येक समूह में बॉट्स को चालू या बंद करें, या Allow सभी का उपयोग करें / प्रति समूह सभी को ब्लॉक करें।
- 2 Disallow पथ फ़ील्ड में सभी crawlers से ब्लॉक करने के लिए कोई भी पथ जोड़ें।
- 3 अपना sitemap URL चिपकाएँ और यदि आवश्यक हो तो अतिरिक्त जोड़ें।
- 4 लाइव आउटपुट को robots.txt के रूप में अपने डोमेन रूट पर कॉपी करें।
What should you do next?
अपना robots.txt जनरेट करने के बाद, इसे Robots.txt Validator के साथ मान्य करें और AI Bot Path Tester के साथ AI बॉट एक्सेस का परीक्षण करें। Then move to the related checks below to confirm the fix on the live canonical page.
आपको क्या मिलता है
प्रति-बॉट नियम निर्माता
Googlebot, Bingbot, या किसी कस्टम crawler के लिए स्वतंत्र Allow/Disallow पथों के साथ अलग User-agent ब्लॉक बनाएं।
लाइव पूर्वावलोकन
जैसे ही आप नियम जोड़ते हैं, वास्तविक समय में उत्पन्न robots.txt अपडेट देखें। जब आउटपुट सही लगे तो उसे कॉपी करें।
Frequently Asked Questions
Robots.txt Generator के बारे में उत्तर
एक User-agent ब्लॉक जोड़ें, Allow और Disallow पथ सेट करें, और आउटपुट कॉपी करें। फ़ाइल को अपने डोमेन रूट (example.com/robots.txt) पर अपलोड करें ताकि crawlers अपनी अगली यात्रा पर इसे पढ़ सके।
GPTBot, Google-Extended, ClaudeBot, CCBot, और Bytespider के लिए Disallow नियम जोड़ने के लिए 'ब्लॉक AI प्रशिक्षण बॉट' बटन का उपयोग करें। ये बॉट मॉडल प्रशिक्षण के लिए सामग्री को स्क्रैप करते हैं। ChatGPT-User और Claude-SearchBot जैसे पुनर्प्राप्ति बॉट लाइव खोज परिणाम प्रदान करते हैं और allowed रह सकते हैं।
नहीं. Robots.txt crawling को नियंत्रित करता है, indexing को नहीं। खोज इंजन अभी भी index और URL को बाहरी लिंक के माध्यम से खोज सकते हैं, भले ही robots.txt crawling को ब्लॉक कर दे। indexing को रोकने के लिए noindex मेटा टैग या X-Robots-Tag हेडर का उपयोग करें।
हां. एक Sitemap निर्देश crawlers को केवल Search Console पर relying के बिना आपका XML sitemap ढूंढने में मदद करता है। इसे फ़ाइल के नीचे रखें। यदि आपकी साइट sitemap indexes का उपयोग करती है तो आप एकाधिक sitemaps सूचीबद्ध कर सकते हैं।