מחולל ומאמת Robots.txt
צור כללי סורק, הוסף הוראות מפת אתר, ואמת תחביר robots.txt באופן מקומי לפני פרסום הקובץ בשורש האתר שלך.
תוצאות אימות
- צור או הדבק תוכן robots.txt, ולאחר מכן אמת אותו.
יצירת כללי זחילה
בנה הוראות User-agent, Allow, Disallow, Sitemap ו-Host אופציונליות מבלי לשנן את עיצוב robots.txt.
אימות תחביר
בדוק טעויות נפוצות כגון סוכני משתמש חסרים, כתובות URL יחסיות של מפת אתר, נתיבים פגומים, כללים כפולים ושמות הוראות לא נתמכים.
עיבוד מקומי פרטי
המחולל והמאמת פועלים בדפדפן שלך. תוכן Robots.txt אינו מועלה לשרתי Convertr.
שאלות נפוצות
האם קובץ robots.txt שלי הועלה עבור אימות?
לא. יצירה ואימות פועלים בדפדפן שלכם עם JavaScript. הטקסט שאתם מזינים אינו נשלח לשרתים של Convertr.
איפה אני צריך לשים את robots.txt?
מקמו robots.txt בשורש המארח שעליו הוא חל, כגון https://example.com/robots.txt.
האם robots.txt מסיר דפים מ-Google?
לא. Robots.txt שולט בגישה לסורקים. השתמש בהנחיות noindex בדף או הסר את הדף אם אתה צריך להסיר מאינדקס.
כלים של מפתחים קשורים
מחולל Robots.txt
בנה ואמת קבוצות robots.txt בסיסיות, כללי Allow ו-Disallow, עיכובי סריקה והפניות למפת אתר.
- קלט
- קבוצות סוכן-משתמש, כללי נתיב וכתובות URL של מפת אתר.
- פלט
- עותק robots.txt עם אבחון מבני.
- מגבלות אמיתיות
- robots.txt הוא ייעוץ, תמיכת הזחלנים משתנה, הכללים הם קידומות נתיב תלויות-רישיות, והוא אינו יכול להסיר כתובת URL שכבר צורפה לאינדקס בעצמו.
- פרטיות וטיפול בנתונים
- קבוצות סוכן משתמש, כללי נתיב וכתובות URL של מפת אתר מעובדים בכרטיסייה זו. Convertr אינו מקבל או מאחסן אותו; סגירה או טעינה מחדש של הדף מנקה את מצב העבודה אלא אם הכלי מציע במפורש הורדה מקומית.
כיצד להשתמש בכלי זה
- לספק קבוצות של סוכנים משתמשים, כללי מסלול ו- URLs מפת המקום בקונסולות כלי.
- בחר את ההגדרות המשפיעות על טקסט robots.txt הניתן להעתקה עם אבחון מבני, ולאחר מכן הפעל את הכלי.
- בדקו טקסט robots.txt הניתן להעתקה עם אבחון מבני לפני העתקה או הורדה.
מצבי כשל נפוצים
כתובות URL לא חוקיות של מפת אתר, קבוצות ריקות מתנגשות, הוראות לא נתמכות, או סוכן משתמש חסר מייצרים אזהרות.
דוגמה שימושית
צור קבוצת סוכן משתמש * שאינה מתירה /admin/ ומציינת את כתובת ה-URL של מפת האתר היצרנית.