Robots.txt გენერატორი და ვალიდატორი

შექმენით crawler-ის წესები, დაამატეთ sitemap-ის დირექტივები და შეამოწმეთ robots.txt-ის სინტაქსი ლოკალურად, სანამ ფაილს თქვენი ვებსაიტის root-ზე გამოაქვეყნებთ.

მზადაა

ვალიდაციის შედეგები

  • შექმენით ან ჩასვით რობოტები.txt კონტენტი, შემდეგ დაადასტურეთ იგი.

Crawler-ის წესების გენერაცია

შექმენით User-agent, Allow, Disallow, Sitemap და სურვილისამებრ Host დირექტივები robots.txt ფორმატირების დამახსოვრების გარეშე.

სინტაქსის ვალიდაცია

შეამოწმეთ საერთო შეცდომები, როგორიცაა გამოტოვებული user-agents, ფარდობითი sitemap URLs, არასწორი ბილიკები, დუბლირებული წესები და მხარდაუჭერელი დირექტივის სახელები.

პირადი ლოკალური დამუშავება

გენერატორი და ვალიდატორი მუშაობს თქვენს ბრაუზერში. Robots.txt შინაარსი არ აიტვირთება Convertr სერვერებზე.

ხშირად დასმული კითხვები

ატვირთულია თუ არა ჩემი robots.txt ფაილი ვალიდაციისთვის?

არა. გენერაცია და ვალიდაცია მუშაობს თქვენს ბრაუზერში JavaScript-ით. თქვენ მიერ შეყვანილი ტექსტი არ იგზავნება Convertr სერვერებზე.

სად უნდა განვათავსო robots.txt?

მოათავსეთ robots.txt ჰოსტის ძირში, რომელსაც ის ეხება, როგორიცაა https://example.com/robots.txt.

robots.txt შლის გვერდებს Google-დან?

არა. Robots.txt აკონტროლებს მცოცავის წვდომას. გამოიყენეთ noindex დირექტივები გვერდზე ან წაშალეთ გვერდი, თუ გჭირდებათ ინდექსიდან ამოღება.

დაკავშირებული დეველოპერის ინსტრუმენტები

XML საიტის რუკის გენერატორი შექმენით სწორი საიტის რუკა.xml ფაილი URL სიიდან. HTTP სათაურების შემმოწმებელი გადამისამართებების, სტატუსის კოდებისა და პასუხის სათაურების შემოწმება. XML ფორმატერი XML ფაილებისა და საიტმაპის ფრაგმენტების ფორმატირება და ვალიდაცია. URL ენკოდერი და დეკოდერი დაშიფვრეთ URL-ები, მოთხოვნის სტრიქონები და URL კომპონენტები. URL Slug გენერატორი შექმენით წაკითხვადი URL ბილიკები გვერდებისა და პოსტებისთვის. Open Graph შემმოწმებელი გადახედეთ, როგორ ჩნდება გვერდები და საიტის რუქები სოციალური მედიის პლატფორმებზე. Cron გამოხატვის გენერატორი შექმენით და დაადასტურეთ დაგეგმილი მცოცავი ან ტექნიკური სამუშაოები.

Robots.txt გენერატორი

შექმენით და დაადასტურეთ ძირითადი რობოტები.txt ჯგუფები, წესების დაშვება და აკრძალვა, სერიების შეფერხებები და საიტის რუქის მითითებები.

შეყვანა
მომხმარებლის-აგენტის ჯგუფები, ბილიკის წესები და sitemap URLs.
გამომავალი
კოპირებადი robots.txt ტექსტი სტრუქტურული დიაგნოსტიკით.
რეალური შეზღუდვები
robots.txt არის საკონსულტაციო, ინდექსატორის მხარდაჭერა განსხვავდება, წესები არის რეგისტრის მგრძნობიარე გზის პრეფიქსები და მას არ შეუძლია თავისით წაშალოს უკვე ინდექსირებული URL.
კონფიდენციალურობა და მონაცემთა დამუშავება
user-agent ჯგუფები, ბილიკის წესები და sitemap URLs მუშავდება ამ ბრაუზერის ჩანართში. Convertr არ იღებს ან ინახავს მას; გვერდის დახურვა ან გადატვირთვა ასუფთავებს სამუშაო მდგომარეობას, თუ ხელსაწყო ცალსახად არ გთავაზობთ ადგილობრივ ჩამოტვირთვას.

როგორ გამოვიყენოთ ეს ინსტრუმენტი

  1. მიაწოდეთ მომხმარებლის აგენტების ჯგუფები, ბილიკის წესები და საიტის რუქის URL-ები ხელსაწყოს სამართავებში.
  2. აირჩიეთ პარამეტრები, რომლებიც გავლენას ახდენს კოპირებად robots.txt ტექსტზე სტრუქტურული დიაგნოსტიკით, შემდეგ გაუშვით ინსტრუმენტი.
  3. გადახედეთ კოპირებად robots.txt ტექსტს სტრუქტურული დიაგნოსტიკით მის კოპირებამდე ან ჩამოტვირთვამდე.

საერთო წარუმატებლობის რეჟიმები

არასწორი sitemap URLs, კონფლიქტური ცარიელი ჯგუფები, მხარდაუჭერელი დირექტივები ან დაკარგული მომხმარებლის აგენტი იწვევს გაფრთხილებებს.

სასარგებლო მაგალითი

* user-agent ჯგუფის შექმნა, რომელიც კრძალავს /admin/-ს და ასახელებს წარმოების sitemap URL-ს.