Robots.txt जनरेटर और वैलिडेटर
क्रॉलर नियम बनाएं, साइटमैप निर्देश जोड़ें, और अपनी वेबसाइट के रूट पर फ़ाइल प्रकाशित करने से पहले robots.txt सिंटैक्स को स्थानीय रूप से मान्य करें।
मान्यता परिणाम
- robots.txt सामग्री उत्पन्न करें या पेस्ट करें, फिर इसे मान्य करें।
क्रॉलर नियम निर्माण
उपयोगकर्ता एजेंट, अनुमति दें, अस्वीकार करें, साइटमैप, और वैकल्पिक होस्ट निर्देशों को robots.txt प्रारूपण को याद किए बिना बनाएं।
सिंटैक्स वैधता
आम त्रुटियों की जांच करें जैसे कि अनुपस्थित उपयोगकर्ता एजेंट, रिश्तेदार साइटमैप यूआरएल, खराब मार्ग, दोहराए गए नियम, और असहाय निर्देशों के नाम।
निजी स्थानीय प्रसंस्करण
जनरेटर और वैलिडेटर आपके ब्राउज़र में चलते हैं. Robots.txt सामग्री को Convertr सर्वर पर अपलोड नहीं किया जाता है.
अक्सर पूछे जाने वाले सवाल
क्या मेरे robots.txt फ़ाइल को वैधता के लिए अपलोड किया गया है?
नहीं. जनरेशन और वैलिडेशन आपके ब्राउज़र में जावास्क्रिप्ट के साथ चलते हैं. आपके द्वारा दर्ज किया गया पाठ Convertr सर्वर पर नहीं भेजा जाता है.
मैं robots.txt को कहाँ रखूँ?
robots.txt को होस्ट के जड़ पर रखें, जिस पर यह लागू होता है, जैसे https://example.com/robots.dxt।
क्या robots.txt Google से पृष्ठों को हटाता है?
नहीं। Robots.txt क्रॉलर एक्सेस को नियंत्रित करता है। पृष्ठ पर noindex निर्देशों का उपयोग करें या यदि आपको डीइंडेक्सिंग की आवश्यकता है तो पृष्ठ को हटा दें।
संबंधित डेवलपर उपकरण
Robots.txt जनरेटर
बुनियादी robots.txt समूहों, Allow और Disallow नियमों, क्रॉल विलंब, और साइटमैप संदर्भों का निर्माण और मान्य करें।
- इनपुट
- उपयोगकर्ता-एजेंट समूह, पथ नियम और साइटमैप URL.
- आउटपुट
- संरचनात्मक निदान के साथ कॉपी करने योग्य robots.txt पाठ.
- वास्तविक सीमाएं
- robots.txt सलाहकार है, क्रॉलर समर्थन अलग-अलग होता है, नियम केस-सेंसिटिव पथ उपसर्ग हैं, और यह पहले से अनुक्रमित URL को स्वयं नहीं हटा सकता है।
- गोपनीयता और डेटा प्रसंस्करण
- उपयोगकर्ता-एजेंट समूह, पथ नियम और साइटमैप URL इस ब्राउज़र टैब में संसाधित किए जाते हैं। Convertr इसे प्राप्त या संग्रहीत नहीं करता है; पृष्ठ को बंद या पुनः लोड करने से कार्यशील स्थिति साफ़ हो जाती है जब तक कि टूल स्पष्ट रूप से स्थानीय डाउनलोड प्रदान न करे।
इस उपकरण का उपयोग कैसे करें
- टूल नियंत्रण में उपयोगकर्ता-एजेंट समूह, पथ नियम और साइटमैप URL प्रदान करें।
- संरचनात्मक निदान के साथ कॉपी करने योग्य robots.txt टेक्स्ट को प्रभावित करने वाली सेटिंग्स चुनें, फिर टूल चलाएं।
- इसे कॉपी या डाउनलोड करने से पहले संरचनात्मक निदान के साथ कॉपी करने योग्य robots.txt टेक्स्ट की समीक्षा करें।
सामान्य विफलता मोड
अमान्य साइटमैप URL, विरोधाभासी खाली समूह, असमर्थित निर्देश, या अनुपस्थित उपयोगकर्ता एजेंट चेतावनी उत्पन्न करता है।
उपयोगी उदाहरण
एक * उपयोगकर्ता-एजेंट समूह बनाएं जो /admin/ को अस्वीकार करता है और प्रोडक्शन साइटमैप URL का नाम देता है।