Γεννήτρια & Επαληθευτής Robots.txt

Δημιουργήστε κανόνες ανίχνευσης, προσθέστε οδηγίες χάρτη ιστότοπου και επικυρώστε τη σύνταξη robots.txt τοπικά πριν δημοσιεύσετε το αρχείο στη ρίζα του ιστότοπού σας.

Έτοιμο

Αποτελέσματα επικύρωσης

  • Δημιουργήστε ή επικολλήστε περιεχόμενο robots.txt και, στη συνέχεια, επικυρώστε το.

Δημιουργία κανόνων ανίχνευσης

Δημιουργήστε οδηγίες User-agent, Allow, Disallow, Sitemap και προαιρετικές οδηγίες Host χωρίς να απομνημονεύσετε τη μορφοποίηση robots.txt.

Επικύρωση σύνταξης

Ελέγξτε κοινά λάθη, όπως ελλιπείς user-agents, σχετικές διευθύνσεις URL χάρτη ιστότοπου, κακοσχηματισμένες διαδρομές, διπλούς κανόνες και μη υποστηριζόμενα ονόματα οδηγιών.

Ιδιωτική τοπική επεξεργασία

Ο γεννήτορας και ο επικυρωτής εκτελούνται στο πρόγραμμα περιήγησής σας. Το περιεχόμενο Robots.txt δεν μεταφορτώνεται στους διακομιστές Convertr.

Συχνές Ερωτήσεις

Έχει μεταφορτωθεί το αρχείο robots.txt για επικύρωση;

Όχι. Η δημιουργία και η επικύρωση εκτελούνται στο πρόγραμμα περιήγησής σας με JavaScript. Το κείμενο που εισάγετε δεν αποστέλλεται στους διακομιστές Convertr.

Πού πρέπει να τοποθετήσω το robots.txt;

Τοποθετήστε το robots.txt στη ρίζα του κεντρικού υπολογιστή στον οποίο εφαρμόζεται, όπως https://example.com/robots.txt.

Αφαιρεί το robots.txt σελίδες από την Google;

Όχι. Το Robots.txt ελέγχει την πρόσβαση του ανιχνευτή. Χρησιμοποιήστε οδηγίες noindex στη σελίδα ή αφαιρέστε τη σελίδα εάν χρειάζεστε κατάργηση ευρετηρίου.

Σχετικά εργαλεία προγραμματιστή

XML Γεννήτρια Sitemap Δημιουργήστε ένα έγκυρο αρχείο sitemap.xml από μια λίστα URL. Ελεγκτής Κεφαλίδων HTTP Ελέγξτε τις ανακατευθύνσεις, τους κωδικούς κατάστασης και τις επικεφαλίδες απόκρισης. Μορφοποίηση XML Μορφοποιήστε και επικυρώστε αρχεία XML και αποσπάσματα χάρτη ιστότοπου. Κωδικοποίηση και αποκωδικοποίηση URL Κωδικοποιήστε URLs, συμβολοσειρές ερωτημάτων και στοιχεία URL. Γεννήτρια URL Slug Δημιουργήστε αναγνωρίσιμες διαδρομές URL για σελίδες και δημοσιεύσεις. Ελεγκτής Open Graph Προεπισκόπηση του τρόπου εμφάνισης σελίδων και χαρτών ιστοτόπου σε πλατφόρμες κοινωνικής δικτύωσης. Γεννήτρια εκφράσεων Cron Κατασκευή και επικύρωση προγραμματισμένων εργασιών crawler ή συντήρησης.

Γεννήτρια Robots.txt

Δημιουργήστε και επικυρώστε τις βασικές ομάδες robots.txt, τους κανόνες Allow και Disallow, τις καθυστερήσεις ανίχνευσης και τις αναφορές σε χάρτες τοποθεσίας.

Εισαγωγή
ομάδες user-agent, κανόνες διαδρομής και URLs χάρτη ιστότοπου.
Έξοδος
αντιγράψιμο κείμενο robots.txt με δομική διάγνωση.
Πραγματικοί περιορισμοί
Το robots.txt είναι συμβουλευτικό, η υποστήριξη ανιχνευτή ποικίλλει, οι κανόνες είναι προθέματα διαδρομής με διάκριση πεζών-κεφαλαίων και δεν μπορεί να αφαιρέσει ένα ήδη ευρετηριασμένο URL από μόνο του.
Απόρρητο και επεξεργασία δεδομένων
Οι ομάδες user-agent, οι κανόνες διαδρομής και τα URL του sitemap επεξεργάζονται σε αυτήν την καρτέλα του προγράμματος περιήγησης. Ο Convertr δεν το λαμβάνει ούτε το αποθηκεύει· το κλείσιμο ή η επαναφόρτωση της σελίδας καθαρίζει την κατάσταση εργασίας, εκτός εάν το εργαλείο προσφέρει ρητά τοπική λήψη.

Πώς να χρησιμοποιήσετε αυτό το εργαλείο

  1. Παρέχετε ομάδες χρήστη-εγγραφέα, κανόνες οδού και URLs τοποθεσίας στο εργαλείο ελέγχου.
  2. Επιλέξτε τις ρυθμίσεις που επηρεάζουν το αντιγράψιμο κείμενο robots.txt με διαγνωστικά δομής, στη συνέχεια εκτελέστε το εργαλείο.
  3. Εξετάστε το αντιγράψιμο κείμενο robots.txt με δομικές διαγνωστικές πριν το αντιγράψετε ή το κατεβάσετε.

Κοινοί τρόποι αποτυχίας

Οι μη έγκυρες διευθύνσεις URL χάρτη ιστότοπου, οι αντικρουόμενες κενές ομάδες, οι μη υποστηριζόμενες οδηγίες ή ένας απών παράγοντας χρήστη παράγει προειδοποιήσεις.

Χρήσιμο παράδειγμα

Δημιουργήστε μια ομάδα * χρήστη-agent που απαγορεύει το /admin/ και ονομάζει το URL του sitemap παραγωγής.