token確率・perplexityを計算
バグ・不具合を報告
観測tokenの対数確率から系列別の情報量・NLLとperplexityを求める。
項目を入力・選択してから「計算する」を押してください。
選択内容に応じて、残りの入力項目を案内します。
計算結果
—
- 平均NLL / token
- —
- 全体NLL
- —
- 算入token数
- —件
- mask除外数
- —件
- 系列数
- —本
値を入力して計算してください。
この計算機は使いやすかったですか?
回答はサイト改善のために保存します。入力値・計算結果は送りません。
ありがとうございます。よかったら、上の共有ボタンからこの計算機を紹介しませんか?
計算方法・適用範囲・出典
計算方法
NLL=−Σlog_b pᵢ、平均NLL=NLL/算入token数、PPL=exp(平均NLL×ln b)。p=0ならNLLとPPLは∞。除外tokenは分母に含めません。
token単位のsurprisal・系列内累積NLL、系列別と全体のNLL・平均NLL・perplexity。
計算例(架空の数値)
2つのtokenにそれぞれp=0.5を割り当てると、平均NLLはln(2) nat(または1 bit)、perplexityは2。
適用対象と限界
正しく整列した観測token条件付き確率を持つ自己回帰型言語モデルの評価データ。masked language modelのperplexity保証、予測確率の生成、tokenizer変換、モデル全語彙のShannon entropy、異tokenizer間の直接順位比較は扱いません。。
方法と出典
方法:E2205 observed-token NLL/PPL v1.0 (2026-11-19)。データ記録日:2026-11-19。