robots.txtのパス規則照合
バグ・不具合を報告
入力したrobots.txtルールと対象user-agent・URLの一致関係を整理し、クロール可否の規則上の判定を確認する。
同じグループIDのすべての規則は、そのグループに指定したuser-agentに適用します。個別の別グループには異なるIDを付けてください。
robots.txtはクロールの可否を示す規則です。検索結果へのインデックス登録、閲覧制限、セキュリティ設定とは異なります。
入力すると自動で計算します。Enterで次の項目へ進めます。次の入力欄を選んで進めます。
計算結果
—
- 採用ルール
- —
- 採用グループ・元行
- —
- 採用ルールの具体性
- —オクテット
- 一致したルール数
- —件
必要な値を入力すると自動で計算します。
この計算機は使いやすかったですか?
回答はサイト改善のために保存します。入力値・計算結果は送りません。
ありがとうございます。よかったら、上の共有ボタンからこの計算機を紹介しませんか?
計算方法・適用範囲・出典
計算方法
RFC 9309:対象製品トークンに大文字小文字を区別せず一致する全グループを統合。一致がなければ * グループを使用。URLのパスとクエリを先頭からバイト単位で比較し、最長オクテット数の一致規則を採用。同長ではAllow優先。*は0文字以上、末尾$はURL末尾一致を表します。%XXは1オクテット、非ASCIIはUTF-8に正規化します。/robots.txtは暗黙に許可します。
クロール判定、採用ルール・グループ・UTF-8オクテット長、競合する一致ルール一覧。
計算例(架空の数値)
架空の規則:Disallow: /private と Allow: /private/public なら、/private/public/x はAllow(15オクテット)、/private/x はDisallow(8オクテット)。同じ長さで一致したAllowとDisallowはAllowを採用します。
適用対象と限界
http(s)のURLと、同一サイトのrobots.txtを想定したAllow/Disallowルールを手元で評価したい利用者。外部サイトへのrobots.txt取得、リダイレクトやHTTPエラーによる取得可否判定、SitemapやCrawl-delayなどの拡張命令、検索エンジン固有の優先規則、インデックス登録可否、認証・アクセス権判定は対象外。
採用した方式
- Robots Exclusion Protocol(RFC 9309(2022-09)):対象範囲 対象user-agentの厳密な製品トークン一致・ローカル入力ルールのパス照合/適用地域 global
方法と出典
方法:RFC 9309(2022年9月)、2.2.1〜2.2.3節。データ記録日:2026-11-14。