Robots.txt גנרטור & Validator

יצירת כללי הגלישה, הוספת הוראות מפות סיטמפה, ותחזוקה מקומית של robots.txt לפני פרסום הקובץ על שורש האתר שלך.

מוכן

תוצאות אימות

  • ליצור או להדביק תוכן robots.txt, ולאחר מכן להעריך אותו.

Crawler Rule Generation

בניית סוכן משתמש, אישור, הפסקת ההסכם, מפת האתר, ואת הוראות האורחים האופציונליים ללא זיכרון בפורמט robots.txt.

סינתזה אימות

בדוק שגיאות נפוצות כגון סוכני משתמש חסרים, כתובת URL של מפת האתר יחסית, מסלולי שגיאה, כללים משולבים, שמות דירוג לא נתמכים.

עיבוד מקומי פרטי

הגנרטור והגבלת התוכן פועלים בדפדפן שלך.התוכן של Robots.txt אינו מופיע בשרתים של Convertr.

שאלות נפוצות

האם קובץ robots.txt שלי הועלה עבור אימות?

לא. הגורם וההגדרה פועלים בדפדפן שלך עם JavaScript. הטקסט שאתה מזין אינו נשלח לשרתים של Convertr.

איפה אני צריך לשים את robots.txt?

לשים robots.txt על שורש המארח הוא חל, כגון https://example.com/robots.dll.

האם robots.txt מוריד את הדפים מ-Google?

לא. Robots.txt שולט גישה למדפסת.השתמש בהנחיות noindex בדף או להסיר את הדף אם אתה צריך deindexing.

כלים של מפתחים קשורים

XML שורת מפת גנרטור יצירת קובץ sitemap.xml בתוקף מתוך רשימת URL. HTTP צ'לני בדוק את העדפות, קודים של מצב, ושיחות התגובה. מעצב XML צורה ותקנות של קבצי XML ו- Sitemap Snippets. מקודד ומפענח URL הקוד של URLs, שורות שאלות, ומרכיבי URL. מחולל מזהי URL יצירת מסלולי URL קריאים עבור דפים ופוסטים. פתיחת Graph Checker ראה כיצד דפים ומדפי סיטמפסים מופיעים על פלטפורמות מדיה חברתית. גנרטור Cron Expression לבנות ולבצע את העבודה המתוכננת של מעקב או תחזוקה.

מחולל Robots.txt

לבנות ולבצע קבוצות בסיסיות של robots.txt, כללי הרשאה והפסקת הרשאה, עיכובים בגרסה, וראיות מפת המקום.

כניסה
קבוצות של משתמשים-סוכנים, כללי מסלול וכתובות URL של מפת המקום.
יצוא
עותק robots.txt עם אבחון מבני.
הגבלות אמיתיות
robots.txt הוא ייעוץ, תמיכה crawler משתנה, הכללים הם מקרה-חושב מסלול מראש, וזה לא יכול להסיר כתובת URL כבר מדויקת בעצמו.
פרטיות וטיפול בנתונים
קבוצות של משתמשים-סוכנים, כללי מסלול וכתובות URL של מפת המקום מעובדים בכרטיסיה זו.Converter אינו מקבל או מאוחסן אותה; סגירת או העלאת הדף מבהירה את מצב העבודה אלא אם כן הכלי מציעה באופן ספציפי הורדה מקומית.

כיצד להשתמש בכלי זה

  1. לספק קבוצות של סוכנים משתמשים, כללי מסלול ו- URLs מפת המקום בקונסולות כלי.
  2. בחר את ההגדרות המשפיעות על טקסט robots.txt ניתן להעתיק עם אבחון מבני, ולאחר מכן פועל את הכלים.
  3. סקירה של טקסט robots.txt ניתן להעתיק עם אבחון מבני לפני העתקה או הורדה.

שיטות נפוצות של כישלון

כתובת URL של מפת האתר הלא חוקית, קבוצות ריקות מתנגשות, הוראות לא נתמכות, או סוכן משתמש חסר מייצרים אזהרות.

דוגמה שימושית

יצירת קבוצת * סוכן משתמש אשר מפחיתה /admin/ ומקבלת את שם כתובת ה-URL של מפת המיקום של הייצור.