翻訳のBLEU・chrF等の比較
バグ・不具合を報告
同じ参照訳と固定の前処理条件で複数の候補訳の表層一致度を比較する。
項目を入力・選択してから「計算する」を押してください。
必要な入力・選択は3項目です。
計算結果
—%
—%
- BLEU-1
- —%
- 完全一致率
- —%
- 比較文数
- —
- 短文ペナルティ(BP)
- —
- 候補トークン数
- —
- 参照トークン数
- —
- 文字n-gram平均適合率
- —%
- 文字n-gram平均再現率
- —%
値を入力して計算してください。
この計算機は使いやすかったですか?
回答はサイト改善のために保存します。入力値・計算結果は送りません。
ありがとうございます。よかったら、上の共有ボタンからこの計算機を紹介しませんか?
計算方法・適用範囲・出典
計算方法
各文をUnicode NFCで正規化し、大文字・小文字と句読点を区別。BLEU用トークンは空白区切りまたはUnicode文字単位で固定。各文のn-gram一致=min(候補出現数,参照出現数)、全行集計でpₙ=Σ一致/Σ候補n-gram数。BP=min(1,exp(1−参照トークン数/候補トークン数))。BLEU-4=100×BP×exp(Σₙ₌₁⁴ ln(pₙ)/4)、BLEU-1=100×BP×p₁。pₙが0または未定義のときBLEU-4=0。chrFは空白を除くUnicode文字1~6-gramの一致度から、両側にn-gramが存在する次数のみの平均適合率P・平均再現率Rを算出し、chrFβ=100×(1+β²)PR/(β²P+R)。完全一致はNFC後の文字列一致行数÷全行数×100。
BLEU-4、BLEU-1、chrF、完全一致率(%)とn-gram適合率・長さ補正。
計算例(架空の数値)
候補「the the the the the the the」、参照「the cat is on the mat」、空白区切りではBLEU-1の修正適合率は2/7、BLEU-4は0です。
適用対象と限界
候補訳と参照訳を同じ文単位で対応付けられる、匿名の翻訳テキスト。複数参照、学習済み意味指標、言語判定、機械的な単語分割、chrF++、TER、翻訳品質の承認判定は含まない。短文のBLEU-4は0になりやすい。。
採用した方式
- コーパスBLEU-1/4(Papineni et al. (2002), 1参照・無平滑化):対象範囲 対応する訳文を文ごとに照合し、集計した修正n-gram数とBPで算定/適用地域 global
- chrFβ(Popović (2015) + SacreBLEU effective-order規約):対象範囲 文字1~6-gram、空白を除外、β=1/2/3/適用地域 global
方法と出典
方法:E839-v1.0.0: Papineni et al. 2002 BLEU-1/4 (unsmoothed); Popović 2015 chrF(1..6); SacreBLEU-style effective order; NFC/case-sensitive。データ記録日:2026-11-14。
- Papineni et al. (2002), BLEU: a Method for Automatic Evaluation of Machine Translation, §2.1–2.3
- Popović (2015), chrF: character n-gram F-score for automatic MT evaluation, §2–3.1
- Post (2018), A Call for Clarity in Reporting BLEU Scores
- SacreBLEU 2.5.1: chrF effective-order computation (reference implementation)