مولد ومدقق ملف Robots.txt

أنشئ قواعد الزاحف وأضف توجيهات خريطة الموقع وتحقق من صحة بنية ملف robots.txt محليًا قبل نشر الملف على جذر موقع الويب الخاص بك.

مستعد

نتائج التحقق من الصحة

  • أنشئ محتوى ملف robots.txt أو الصقه، ثم تحقق من صحته.

توليد قاعدة الزاحف

أنشئ توجيهات وكيل المستخدم والسماح وعدم السماح وخريطة الموقع وتوجيهات المضيف الاختيارية دون حفظ تنسيق ملف robots.txt.

التحقق من صحة بناء الجملة

تحقق من الأخطاء الشائعة مثل وكلاء المستخدم المفقودين، وعناوين URL لخريطة الموقع النسبية، والمسارات المشوهة، والقواعد المكررة، وأسماء التوجيه غير المدعومة.

المعالجة المحلية الخاصة

يتم تشغيل المولد والمدقق في متصفحك. لا يتم تحميل محتوى Robots.txt إلى خوادم Convertr.

الأسئلة المتداولة

هل تم تحميل ملف robots.txt الخاص بي للتحقق من صحته؟

لا، يتم تشغيل الإنشاء والتحقق في متصفحك باستخدام JavaScript. لا يتم إرسال النص الذي تدخله إلى خوادم Convertr.

أين يجب أن أضع ملف robots.txt؟

ضع ملف robots.txt في جذر المضيف الذي ينطبق عليه، مثل https://example.com/robots.txt.

هل يقوم ملف robots.txt بإزالة الصفحات من Google؟

لا، يتحكم ملف Robots.txt في وصول الزاحف. استخدم توجيهات noindex على الصفحة أو قم بإزالة الصفحة إذا كنت بحاجة إلى إلغاء الفهرسة.

أدوات المطور ذات الصلة

XML خريطة الموقع إنشاء ملف sitemap.xml صالح من قائمة URL. مدقق رؤوس HTTP فحص عمليات إعادة التوجيه ورموز الحالة ورؤوس الاستجابة. منسق XML تنسيق ملفات XML ومقتطفات خريطة الموقع والتحقق من صحتها. أداة تشفير وفك ترميز URL تشفير عناوين URL وسلاسل الاستعلام ومكونات URL. مولد مسارات URL المختصرة إنشاء مسارات URL قابلة للقراءة للصفحات والمشاركات. مدقق Open Graph قم بمعاينة كيفية ظهور الصفحات وخرائط الموقع على منصات التواصل الاجتماعي. مولد التعبير كرون بناء والتحقق من صحة مهام الزاحف أو الصيانة المجدولة.

مولد ملف Robots.txt

إنشاء وتصديق مجموعات robots.txt الأساسية، وقواعد السماح وإلغاء التسليم، وتأخير التصفح، ومراجعات خريطة الموقع.

مدخل
مجموعات وكلاء المستخدمين وقواعد المسار و URLs sitemap.
الإخراج
النص robots.txt مع التشخيص الهيكلي.
الحد الأقصى الحقيقي
robots.txt هو نصيحة، دعم المتصفح يختلف، والقواعد هي مسارات حساسة الحالة، ولا يمكن إزالة عنوان URL المخصص بالفعل من تلقاء نفسها.
الخصوصية ومعالجة البيانات
يتم معالجة مجموعات وكلاء المستخدمين وقواعد المسار وURL خريطة الموقع في هذا علامة التبويب.المحول لا يحصل عليه أو يخزنه؛ إغلاق أو تحميل الصفحة يزيل حالة العمل ما لم يقدم الأداة بشكل صريح تنزيلًا محليًا.

كيفية استخدام هذا الأداة

  1. توفير مجموعات وكلاء المستخدمين وقواعد المسار وURL خريطة الموقع في مراقبة الأدوات.
  2. اختر الإعدادات التي تؤثر على النص robots.txt قابل للنسخ مع التشخيص الهيكلي، ثم تشغيل الأداة.
  3. مراجعة النص النسخية robots.txt مع التشخيص الهيكلي قبل نسخ أو تنزيلها.

طريقة الفشل المشتركة

إن عناوين URL غير صالحة لخريطة الموقع، ومجموعات فارغة متناقضة، أو إرشادات غير مدعومة، أو وكيل مستخدم مفقود يقدم تحذيرات.

مثال مفيد

إنشاء مجموعة * وكيل المستخدم الذي يلغي /admin/ ويسمى عنوان URL خريطة الإنتاج.