مولد ومدقق ملف Robots.txt

أنشئ قواعد الزاحف وأضف توجيهات خريطة الموقع وتحقق من صحة بنية ملف robots.txt محليًا قبل نشر الملف على جذر موقع الويب الخاص بك.

جاهز

نتائج التحقق من الصحة

  • أنشئ محتوى ملف robots.txt أو الصقه، ثم تحقق من صحته.

توليد قاعدة الزاحف

أنشئ توجيهات وكيل المستخدم والسماح وعدم السماح وخريطة الموقع وتوجيهات المضيف الاختيارية دون حفظ تنسيق ملف robots.txt.

التحقق من صحة بناء الجملة

تحقق من الأخطاء الشائعة مثل وكلاء المستخدم المفقودين، وعناوين URL لخريطة الموقع النسبية، والمسارات المشوهة، والقواعد المكررة، وأسماء التوجيه غير المدعومة.

المعالجة المحلية الخاصة

يتم تشغيل المولد والمدقق في متصفحك. لا يتم تحميل محتوى Robots.txt إلى خوادم Convertr.

الأسئلة المتداولة

هل تم تحميل ملف robots.txt الخاص بي للتحقق من صحته؟

لا، يتم تشغيل الإنشاء والتحقق في متصفحك باستخدام JavaScript. لا يتم إرسال النص الذي تدخله إلى خوادم Convertr.

أين يجب أن أضع ملف robots.txt؟

ضع ملف robots.txt في جذر المضيف الذي ينطبق عليه، مثل https://example.com/robots.txt.

هل يقوم ملف robots.txt بإزالة الصفحات من Google؟

لا، يتحكم ملف Robots.txt في وصول الزاحف. استخدم توجيهات noindex على الصفحة أو قم بإزالة الصفحة إذا كنت بحاجة إلى إلغاء الفهرسة.

أدوات المطور ذات الصلة

مولد خريطة موقع XML إنشاء ملف sitemap.xml صالح من قائمة URL. مدقق رؤوس HTTP فحص عمليات إعادة التوجيه ورموز الحالة ورؤوس الاستجابة. منسق XML تنسيق ملفات XML ومقتطفات خريطة الموقع والتحقق من صحتها. أداة تشفير وفك ترميز URL تشفير عناوين URL وسلاسل الاستعلام ومكونات URL. مولد روابط URL المختصرة إنشاء مسارات URL قابلة للقراءة للصفحات والمشاركات. مدقق Open Graph قم بمعاينة كيفية ظهور الصفحات وخرائط الموقع على منصات التواصل الاجتماعي. مولد التعبير كرون بناء والتحقق من صحة مهام الزاحف أو الصيانة المجدولة.

مولد ملف Robots.txt

بناء والتحقق من صحة مجموعات robots.txt الأساسية، وقواعد السماح والمنع، وتأخيرات الزحف، ومراجع خريطة الموقع.

مدخل
مجموعات وكلاء المستخدمين وقواعد المسار و URLs sitemap.
الإخراج
نص robots.txt قابل للنسخ مع تشخيص هيكلي.
القيود الفعلية
robots.txt هو ملف إرشادي، ودعم الزاحف يختلف، والقواعد هي بادئات مسار حساسة لحالة الأحرف، ولا يمكنه إزالة عنوان URL مفهرس بالفعل بمفرده.
الخصوصية ومعالجة البيانات
يتم معالجة مجموعات وكلاء المستخدم وقواعد المسار وعناوين URL لخريطة الموقع في علامة التبويب هذه للمتصفح. لا يتلقاه Convertr أو يخزنه؛ إغلاق الصفحة أو إعادة تحميلها يمسح حالة العمل ما لم تقدم الأداة تنزيلًا محليًا صراحةً.

كيفية استخدام هذه الأداة

  1. توفير مجموعات وكيل المستخدم وقواعد المسار وعناوين URL لخريطة الموقع في عناصر التحكم في الأداة.
  2. اختر الإعدادات التي تؤثر على نص robots.txt القابل للنسخ مع التشخيص الهيكلي، ثم قم بتشغيل الأداة.
  3. مراجعة النص القابل للنسخ robots.txt مع التشخيص الهيكلي قبل نسخه أو تنزيله.

أنماط الفشل الشائعة

إن عناوين URL غير صالحة لخريطة الموقع، ومجموعات فارغة متناقضة، أو إرشادات غير مدعومة، أو وكيل مستخدم مفقود يقدم تحذيرات.

مثال مفيد

إنشاء مجموعة وكيل مستخدم * تمنع الوصول إلى /admin/ وتسمي عنوان URL لخريطة موقع الإنتاج.