robots.txtのパス規則照合

入力したrobots.txtルールと対象user-agent・URLの一致関係を整理し、クロール可否の規則上の判定を確認する。

同じグループIDのすべての規則は、そのグループに指定したuser-agentに適用します。個別の別グループには異なるIDを付けてください。

robots.txtはクロールの可否を示す規則です。検索結果へのインデックス登録、閲覧制限、セキュリティ設定とは異なります。

入力すると自動で計算します。Enterで次の項目へ進めます。次の入力欄を選んで進めます。

例:ExampleBot。HTTPのUser-Agentヘッダー全体ではなく、英字・ハイフン・アンダースコアの製品トークンを指定します。

絶対URLを入力。パスとクエリを照合し、#以降のフラグメントは対象外です。外部アクセスは行いません。

Allow / Disallowルール表任意
行グループIDuser-agent指示パス(/から) 任意操作
1
2

4列を左端の欄へタブ区切りで貼り付けられます。200行まで。

同じグループIDの行は同一グループです。複数のuser-agentも同じIDで指定できます。パスは/から開始し、*は任意文字、末尾$は終端を表します。#以降はコメント。パス空欄は規則なしとして扱います。


計算結果

必要な値を入力すると自動で計算します。

お気に入り一覧

計算方法・適用範囲・出典

計算方法

RFC 9309:対象製品トークンに大文字小文字を区別せず一致する全グループを統合。一致がなければ * グループを使用。URLのパスとクエリを先頭からバイト単位で比較し、最長オクテット数の一致規則を採用。同長ではAllow優先。*は0文字以上、末尾$はURL末尾一致を表します。%XXは1オクテット、非ASCIIはUTF-8に正規化します。/robots.txtは暗黙に許可します。

クロール判定、採用ルール・グループ・UTF-8オクテット長、競合する一致ルール一覧。

計算例(架空の数値)

架空の規則:Disallow: /private と Allow: /private/public なら、/private/public/x はAllow(15オクテット)、/private/x はDisallow(8オクテット)。同じ長さで一致したAllowとDisallowはAllowを採用します。

適用対象と限界

http(s)のURLと、同一サイトのrobots.txtを想定したAllow/Disallowルールを手元で評価したい利用者。外部サイトへのrobots.txt取得、リダイレクトやHTTPエラーによる取得可否判定、SitemapやCrawl-delayなどの拡張命令、検索エンジン固有の優先規則、インデックス登録可否、認証・アクセス権判定は対象外。

採用した方式

  • Robots Exclusion Protocol(RFC 9309(2022-09)):対象範囲 対象user-agentの厳密な製品トークン一致・ローカル入力ルールのパス照合/適用地域 global

方法と出典

方法:RFC 9309(2022年9月)、2.2.1〜2.2.3節。データ記録日:2026-11-14。