Robots.txtジェネレーター＆バリデーター
クローラーのルールを作成し、サイトマップディレクティブを追加し、ウェブサイトのルートにファイルを公開する前に、ローカルでrobots.txtの構文を検証します。
検証結果
- robots.txtコンテンツを生成または貼り付けてから、検証します。
クローラーのルール生成
robots.txtの書式を覚えなくても、User-agent、Allow、Disallow、Sitemap、およびオプションのHostディレクティブを作成できます。
構文検証
User-agentの欠落、相対サイトマップURL、不正なパス、重複するルール、サポートされていないディレクティブ名などの一般的な間違いを確認します。
プライベートなローカル処理
ジェネレーターとバリデーターはブラウザで実行されます。Robots.txtコンテンツはConvertrサーバーにアップロードされません。
よくある質問
robots.txtファイルは検証のためにアップロードされますか？
いいえ。生成と検証はJavaScriptを使用してブラウザで実行されます。入力したテキストはConvertrサーバーに送信されません。
robots.txtはどこに配置すればよいですか？
robots.txtは、適用されるホストのルート（https://example.com/robots.txtなど）に配置します。
robots.txtはGoogleからページを削除しますか？
いいえ。robots.txtはクローラーのアクセスを制御します。インデックスを解除する必要がある場合は、ページでnoindexディレクティブを使用するか、ページを削除してください。
関連する開発者ツール
robots.txt生成ツール
基本的な robots.txt グループ、許可と解除ルール、クラウド遅延、およびサイトマップの参照を構築および確認します。
- 入力
- ユーザー・エージェントグループ、ルートルール、サイトマップのURL.
- 出力
- コピー可能な robots.txt テキスト 構造診断.
- リアル制限
- robots.txt はアドバイス、サーバーサポートが異なり、ルールはケース感性の道の前提であり、すでにインデックスされた URL を自ら削除することはできません。
- プライバシーとデータ処理
- ユーザー・エージェントグループ、ルール、サイトマップのURLは、このブラウザのタブで処理されます. コンバーターはそれを受け取ったり保存したりしません; ページを閉じたり再ロードしたりすると、ツールが明示的に地元のダウンロードを提供しない限り、作業状態が明らかになります。
このツールをどのように使うか
- ユーザー・エージェントグループ、パスルール、サイトマップのURLをツールコントロールに提供します。
- 構造診断でコピー可能な robots.txt テキストに影響を与える設定を選択し、ツールを実行します。
- コピー可能な robots.txt テキストを構造診断でレビューする前に、コピーまたはダウンロードします。
一般的な失敗モード
無効なサイトマップのURL、紛争する白いグループ、サポートされていないガイドライン、または欠けているユーザーエージェントが警告を生成します。
役に立つ例
ユーザーエージェントグループ * を作成し、 /admin/ を解除し、生産サイトマップ URL を指定します。