Robots.txt जनरेटर और वैलिडोर
क्रॉलर नियम बनाएं, साइटमैप निर्देशों को जोड़ें, और अपने वेबसाइट की जड़ पर फ़ाइल प्रकाशित करने से पहले robots.txt सिंटाक्स को स्थानीय रूप से वैध करें।
वैधता परिणाम
- robots.txt सामग्री का उत्पादन या पस्ट करें, फिर इसे वैध करें।
क्रॉलर नियम जनरेटर
उपयोगकर्ता एजेंट, अनुमति दें, डिलीवरी करें, साइटमैप, और वैकल्पिक होस्ट निर्देशों को बनाएं robots.txt प्रारूपण के बिना।
Syntax वैधता
आम त्रुटियों की जांच करें जैसे कि अनुपस्थित उपयोगकर्ता एजेंट, रिश्तेदार साइटमैप यूआरएल, खराब मार्ग, दोहराए गए नियम, और असहाय निर्देशों के नाम।
निजी स्थानीय प्रसंस्करण
जनरेटर और वैलिडिटर्स आपके ब्राउज़र में चलता है. Robots.txt सामग्री को Convertr सर्वर पर अपलोड नहीं किया जाता है.
अक्सर पूछे जाने वाले सवाल
क्या मेरे robots.txt फ़ाइल को वैधता के लिए अपलोड किया गया है?
न. जनरेशन और वैलिडिंग आपके ब्राउज़र में जावास्क्रिप्ट के साथ चलती है. पाठ जो आप दर्ज करते हैं वह कनवर्टर सर्वर पर नहीं भेजा जाता है.
मैं robots.txt को कहां रखना चाहता हूं?
robots.txt को होस्ट के जड़ पर रखें, जिस पर यह लागू होता है, जैसे https://example.com/robots.dxt।
क्या robots.txt Google से पृष्ठों को हटाता है?
No. Robots.txt क्रॉलर एक्सेस को नियंत्रित करता है. पृष्ठ पर noindex निर्देशों का उपयोग करें या यदि आपको deindexing की आवश्यकता है तो पृष्ठ को हटा दें.
संबंधित डेवलपर उपकरण
Robots.txt जनरेटर
बुनियादी robots.txt समूहों का निर्माण और वैध बनाएं, अनुमति और विघटन नियम, क्रॉक देरी, और साइटमैप संदर्भ।
- प्रवेश
- उपयोगकर्ता-एजेंट समूह, मार्ग नियम और साइटमैप URL.
- आउटपुट
- संरचनात्मक निदान के साथ कॉपी करने योग्य robots.txt पाठ.
- वास्तविक सीमाएं
- robots.txt सलाहकार है, क्रॉलर समर्थन अलग-अलग है, नियम मामला संवेदनशील मार्ग पूर्वावलोकन हैं, और यह पहले से ही सूचकांक URL को स्वयं नहीं हटा सकता है।
- गोपनीयता और डेटा प्रसंस्करण
- उपयोगकर्ता-एजेंट समूह, मार्ग नियम और साइटमैप URL इस ब्राउज़र टैब में संसाधित किए जाते हैं. कनवर्टर इसे प्राप्त या संग्रहीत नहीं करता है; पृष्ठ को बंद या पुनः लोड करके कार्यस्थल स्पष्ट हो जाता है जब तक कि उपकरण स्पष्ट रूप से एक स्थानीय डाउनलोड प्रदान नहीं करता।
इस उपकरण का उपयोग कैसे करें
- उपयोगकर्ता-एजेंट समूहों, मार्ग नियमों और साइटमैप URL को टूल नियंत्रण में प्रदान करें।
- संरचनात्मक निदान के साथ कॉपी करने योग्य robots.txt पाठ को प्रभावित करने वाले सेटिंग्स का चयन करें, फिर टूल चलाएं।
- इसे कॉपी करने या डाउनलोड करने से पहले संरचनात्मक निदान के साथ प्रतिलिपि robots.txt पाठ की समीक्षा करें।
असफलता के सामान्य तरीके
अवांछित साइटमैप यूआरएल, विरोधाभासी सफेद समूह, असहाय दिशानिर्देश या एक अनुपस्थित उपयोगकर्ता एजेंट चेतावनी उत्पन्न करता है।
उपयोगी उदाहरण
एक * उपयोगकर्ता एजेंट समूह बनाएं जो /admin/ को हटा देता है और उत्पादन साइटमैप URL का नाम देता है।