検索順位評価:MAP・MRR・NDCG

順位付き検索結果を、二値関連性と段階的関連度の両面から比較する。

MAP・MRRは関連度1以上を「関連あり」とします。NDCGは0~4の段階的関連度をそのまま利得に使います。

各クエリで関連文書の判定集合が十分に揃っていることが前提です。未取得の関連文書を省くとMAPの分母とNDCGの理想値が変わります。

入力すると自動で計算します。Enterで次の項目へ進めます。次の入力欄を選んで進めます。

必要な入力・選択は3項目です。

1~1000の整数。入力した取得順位がkより短い場合は、それ以降の取得結果がないものとします。

MAP・MRRの平均対象を切り替えます。NDCGは理想DCGが0のクエリを平均に含めません。

クエリ別の取得順位と判定済み関連度必須
行クエリID文書ID取得順位 任意関連度操作
1
2

4列を左端の欄へタブ区切りで貼り付けられます。1000行まで。

同じクエリID内で文書IDは一意。取得文書は順位1から連番、未取得でも判定済みの文書は順位を空欄にして入力。関連度0=非関連、1~4=関連。すべての取得文書を判定済みにしてください。表の左端セルから4列TSVの貼り付けにも対応します。


計算結果

必要な値を入力すると自動で計算します。

お気に入り一覧

計算方法・適用範囲・出典

計算方法

クエリqの関連文書総数をR_q、順位iの二値関連度をb_i(関連度≧1なら1)とすると、AP@k=Σ(i≦k, b_i=1)[(Σ(j≦i)b_j)/i]/R_q(R_q=0のとき0)。RR@k=k以内の最初の関連文書の順位rの逆数1/r、該当なしは0。DCG@k=Σ(i=1..k) grade_i/log₂(i+1)。IDCG@kは判定済み全関連度を降順に並べた同じ式。NDCG@k=DCG/IDCG(IDCG=0は算出不可)。MAPとMRRは指定方式のクエリ等重み平均、平均NDCGはIDCG>0のクエリのみの等重み平均。すべて無次元(0~1)。

MAP@k、MRR@k、平均NDCG@k、クエリ別AP/RR/NDCG・DCG/IDCG・関連文書数。

計算例(架空の数値)

架空例:クエリAの判定済み文書が順位1/関連度3、順位2/0、順位3/2、未取得/1、k=3ならAP@3=(1+2/3)/3=0.55555556、RR@3=1、DCG@3=4、IDCG@3=3+2/log₂3+1/2≈4.76186、NDCG@3≈0.8400。

適用対象と限界

関連度判定の母集団が把握でき、クエリごとに取得順位1からの連続したリストを用意できる検索評価。未判定文書の非関連扱い、関連度の自動推定、未収録の関連文書の補完、検索量やSEO順位の取得、統計的有意差検定は行わない。。

方法と出典

方法:NIST trec_eval m_map_cut.c / m_recip_rank.c / m_ndcg_cut.c(2026-11-13照合)、上位kでRRを打切る定義。データ記録日:2026-11-13。