Robots.txtジェネレーター＆バリデーター
クローラーのルールを作成し、サイトマップディレクティブを追加し、ウェブサイトのルートにファイルを公開する前に、ローカルでrobots.txtの構文を検証します。
準備ができて
検証結果
- robots.txtコンテンツを生成または貼り付けてから、検証します。
クローラーのルール生成
robots.txtの書式を覚えなくても、User-agent、Allow、Disallow、Sitemap、およびオプションのHostディレクティブを作成できます。
構文検証
User-agentの欠落、相対サイトマップURL、不正なパス、重複するルール、サポートされていないディレクティブ名などの一般的な間違いを確認します。
プライベートなローカル処理
ジェネレーターとバリデーターはブラウザで実行されます。Robots.txtコンテンツはConvertrサーバーにアップロードされません。
Frequently asked questions
robots.txtファイルは検証のためにアップロードされますか？
いいえ。生成と検証はJavaScriptを使用してブラウザで実行されます。入力したテキストはConvertrサーバーに送信されません。
robots.txtはどこに配置すればよいですか？
robots.txtは、適用されるホストのルート（https://example.com/robots.txtなど）に配置します。
robots.txtはGoogleからページを削除しますか？
いいえ。robots.txtはクローラーのアクセスを制御します。インデックスを解除する必要がある場合は、ページでnoindexディレクティブを使用するか、ページを削除してください。
関連する開発者ツール
HTTP Headers Checker
Inspect redirects, status codes, and response headers.
XML フォーマッタ
XMLファイルとサイトマップスニペットをフォーマットして検証します。
URLエンコーダー＆デコーダー
URL、クエリ文字列、およびURLコンポーネントをエンコードします。
URL Slug Generator
Create readable URL paths for pages and posts.
HTMLエンティティエンコーダー
HTMLに敏感な文字をエスケープおよびデコードします。
Cron Expression Generator
Build and validate scheduled crawler or maintenance jobs.