token確率・perplexityを計算

観測tokenの対数確率から系列別の情報量・NLLとperplexityを求める。

項目を入力・選択してから「計算する」を押してください。

選択内容に応じて、残りの入力項目を案内します。

計算する内容

異なるtokenizer・文脈条件・teacher forcingを使ったperplexityは単純比較できません。

観測tokenと条件付き確率必須
行token ID系列境界 任意評価対象外 任意条件付き確率 p(0~1) 任意操作
1
2

4列を左端の欄へタブ区切りで貼り付けられます。1000行まで。

空欄の系列境界は前行と同系列(先頭は系列1)。maskが空欄なら算入、除外を選んだ行は確率未入力でも構いません。


計算結果

値を入力して計算してください。

お気に入り一覧

計算方法・適用範囲・出典

計算方法

NLL=−Σlog_b pᵢ、平均NLL=NLL/算入token数、PPL=exp(平均NLL×ln b)。p=0ならNLLとPPLは∞。除外tokenは分母に含めません。

token単位のsurprisal・系列内累積NLL、系列別と全体のNLL・平均NLL・perplexity。

計算例(架空の数値)

2つのtokenにそれぞれp=0.5を割り当てると、平均NLLはln(2) nat(または1 bit)、perplexityは2。

適用対象と限界

正しく整列した観測token条件付き確率を持つ自己回帰型言語モデルの評価データ。masked language modelのperplexity保証、予測確率の生成、tokenizer変換、モデル全語彙のShannon entropy、異tokenizer間の直接順位比較は扱いません。。

方法と出典

方法:E2205 observed-token NLL/PPL v1.0 (2026-11-19)。データ記録日:2026-11-19。