Robots.txt Γεννήτρια & Εγκρίτης

Δημιουργήστε κανόνες ανίχνευσης, προσθέστε οδηγίες χάρτη ιστότοπου και επικυρώστε τη σύνταξη robots.txt τοπικά πριν δημοσιεύσετε το αρχείο στη ρίζα του ιστότοπού σας.

Ετοιμος

Αποτελέσματα επικύρωσης

  • Δημιουργήστε ή επικολλήστε περιεχόμενο robots.txt και, στη συνέχεια, επικυρώστε το.

Δημιουργία κανόνων ανίχνευσης

Δημιουργήστε οδηγίες User-agent, Allow, Disallow, Sitemap και προαιρετικές οδηγίες Host χωρίς να απομνημονεύσετε τη μορφοποίηση robots.txt.

Επικύρωση σύνταξης

Ελέγξτε κοινά λάθη, όπως ελλιπείς user-agents, σχετικές διευθύνσεις URL χάρτη ιστότοπου, κακοσχηματισμένες διαδρομές, διπλούς κανόνες και μη υποστηριζόμενα ονόματα οδηγιών.

Ιδιωτική τοπική επεξεργασία

Ο γεννήτορας και ο επικυρωτής εκτελούνται στο πρόγραμμα περιήγησής σας. Το περιεχόμενο Robots.txt δεν μεταφορτώνεται στους διακομιστές Convertr.

Συχνές Ερωτήσεις

Έχει μεταφορτωθεί το αρχείο robots.txt για επικύρωση;

Όχι. Η δημιουργία και η επικύρωση εκτελούνται στο πρόγραμμα περιήγησής σας με JavaScript. Το κείμενο που εισάγετε δεν αποστέλλεται στους διακομιστές Convertr.

Πού πρέπει να τοποθετήσω το robots.txt;

Τοποθετήστε το robots.txt στη ρίζα του κεντρικού υπολογιστή στον οποίο εφαρμόζεται, όπως https://example.com/robots.txt.

Αφαιρεί το robots.txt σελίδες από την Google;

Όχι. Το Robots.txt ελέγχει την πρόσβαση του ανιχνευτή. Χρησιμοποιήστε οδηγίες noindex στη σελίδα ή αφαιρέστε τη σελίδα εάν χρειάζεστε κατάργηση ευρετηρίου.

Σχετικά εργαλεία προγραμματιστή

XML Γεννήτρια Δημιουργήστε ένα έγκυρο αρχείο sitemap.xml από μια λίστα URL. HTTP Headers Ελέγχου Ελέγξτε τις αναδιατύπωση, τους κωδικούς καταστάσεων και τους επικεφαλίδες απάντησης. XML Σχεδιασμός Μορφοποιήστε και επικυρώστε αρχεία XML και αποσπάσματα χάρτη ιστότοπου. Ετικέτες: URL κώδικας & decoder Κωδικοποιήστε URLs, συμβολοσειρές ερωτημάτων και στοιχεία URL. URL Γεννήτρια Δημιουργήστε αναγνωρίσιμες διαδρομές URL για σελίδες και δημοσιεύσεις. Ελεγκτής Open Graph Προεπισκόπηση του τρόπου εμφάνισης σελίδων και χαρτών ιστοτόπου σε πλατφόρμες κοινωνικής δικτύωσης. Κρόνος εκφραστής Κατασκευή και επικύρωση προγραμματισμένων εργασιών crawler ή συντήρησης.

Ρομπότ.txt γεννήτρια

Δημιουργήστε και επικυρώστε τις βασικές ομάδες robots.txt, τους κανόνες επιτρέψτε και απενεργοποιήστε, τις καθυστερήσεις κρυπτογράφησης και τις αναφορές σε χάρτες τοποθεσίας.

Εισαγωγή
ομάδες χρήστη-agent, κανόνες οδού και URLs τοποθεσίας.
Έξοδος
αντιγραφικό κείμενο robots.txt με δομική διάγνωση.
Πραγματικοί περιορισμοί
robots.txt είναι συμβουλευτική, η υποστήριξη του crawler ποικίλλει, οι κανόνες είναι περιπτώσεις-αίσθητες προκαταλήψεις δρόμου και δεν μπορεί να αφαιρέσει ένα ήδη ενδεικτικό URL από μόνη της.
Προσωπικότητα και επεξεργασία δεδομένων
Οι ομάδες χρήστη-agent, οι κανόνες οδού και οι URL του site map επεξεργάζονται σε αυτό το παράθυρο του προγράμματος περιήγησης. ο μετατροπέας δεν λαμβάνει ή αποθηκεύει το πρόγραμμα. κλείνοντας ή επαναφορτώντας την σελίδα καθαρίζει τη λειτουργία, εκτός εάν το εργαλείο προσφέρει ρητά μια τοπική λήψη.

Πώς να χρησιμοποιήσετε αυτό το εργαλείο

  1. Παρέχετε ομάδες χρήστη-εγγραφέα, κανόνες οδού και URLs τοποθεσίας στο εργαλείο ελέγχου.
  2. Επιλέξτε τις ρυθμίσεις που επηρεάζουν το αντιγραφικό κείμενο robots.txt με δομικές διαγνωστικές, και στη συνέχεια εκτελέστε το εργαλείο.
  3. Εξετάστε το αντιγραφικό κείμενο robots.txt με δομικές διαγνωστικές πριν το αντιγράψετε ή το κατεβάσετε.

Κοινές διαστάσεις αποτυχίας

Οι αναρτημένες διευθύνσεις URL, οι συγκρούσεις με τις άσπρες ομάδες, οι κατευθυντήριες γραμμές που δεν υποστηρίζονται ή ένας απουσιάζοντας χρήστης παράγει προειδοποιήσεις.

Χρήσιμο παράδειγμα

Δημιουργήστε μια ομάδα * χρήστη-agent που διαγράφει /admin/ και ονομάζει την τοποθεσία URL της παραγωγής.