Robots.txtジェネレーター＆バリデーター
クローラーのルールを作成し、サイトマップディレクティブを追加し、ウェブサイトのルートにファイルを公開する前に、ローカルでrobots.txtの構文を検証します。
検証結果
- robots.txtコンテンツを生成または貼り付けてから、検証します。
クローラーのルール生成
robots.txtの書式を覚えなくても、User-agent、Allow、Disallow、Sitemap、およびオプションのHostディレクティブを作成できます。
構文検証
User-agentの欠落、相対サイトマップURL、不正なパス、重複するルール、サポートされていないディレクティブ名などの一般的な間違いを確認します。
プライベートなローカル処理
ジェネレーターとバリデーターはブラウザで実行されます。Robots.txtコンテンツはConvertrサーバーにアップロードされません。
よくある質問
robots.txtファイルは検証のためにアップロードされますか？
いいえ。生成と検証はJavaScriptを使用してブラウザで実行されます。入力したテキストはConvertrサーバーに送信されません。
robots.txtはどこに配置すればよいですか？
robots.txtは、適用されるホストのルート（https://example.com/robots.txtなど）に配置します。
robots.txtはGoogleからページを削除しますか？
いいえ。robots.txtはクローラーのアクセスを制御します。インデックスを解除する必要がある場合は、ページでnoindexディレクティブを使用するか、ページを削除してください。
関連する開発者ツール
robots.txt生成ツール
基本的なrobots.txtグループ、許可および禁止ルール、クロール遅延、サイトマップ参照を構築および検証します。
- 入力
- ユーザー・エージェントグループ、ルートルール、サイトマップのURL.
- 出力
- 構造診断付きのコピー可能な robots.txt テキスト.
- 実際の制限事項
- robots.txt は助言であり、クローラーのサポートは異なり、ルールは大文字小文字を区別するパスプレフィックスであり、既にインデックスされたURLを単独で削除することはできません。
- プライバシーとデータ処理
- ユーザーエージェントグループ、パスルール、およびサイトマップURLは、このブラウザのタブで処理されます。Convertrはそれを受け取ったり保存したりしません。ページを閉じたり再読み込みしたりすると、ツールが明示的にローカルダウンロードを提供しない限り、作業状態はクリアされます。
このツールをどのように使うか
- ツールコントロールにユーザーエージェントグループ、パスルール、サイトマップ URL を指定します。
- 構造診断でコピー可能な robots.txt テキストに影響を与える設定を選択し、ツールを実行します。
- コピーまたはダウンロードする前に、構造診断付きのコピー可能な robots.txt テキストを確認します。
一般的な障害モード
無効なサイトマップURL、競合する空白グループ、サポートされていないディレクティブ、または欠落したユーザーエージェントは警告を生成します。
便利な例
ユーザーエージェントグループ * を作成し、/admin/ を禁止し、プロダクションサイトマップURLを指定します。