翻訳のBLEU・chrF等の比較

同じ参照訳と固定の前処理条件で複数の候補訳の表層一致度を比較する。

項目を入力・選択してから「計算する」を押してください。

必要な入力・選択は3項目です。

候補訳と参照訳(1行=1文)必須
行候補訳参照訳操作
1

2列を左端の欄へタブ区切りで貼り付けられます。100行まで。

左右は同じ原文に対応する訳文。TSVの2列を貼り付けできます。途中の空行は作らないでください。

語彙分割ライブラリは使用しません。両方の訳文に同じ規約を適用します。


計算結果

値を入力して計算してください。

お気に入り一覧

計算方法・適用範囲・出典

計算方法

各文をUnicode NFCで正規化し、大文字・小文字と句読点を区別。BLEU用トークンは空白区切りまたはUnicode文字単位で固定。各文のn-gram一致=min(候補出現数,参照出現数)、全行集計でpₙ=Σ一致/Σ候補n-gram数。BP=min(1,exp(1−参照トークン数/候補トークン数))。BLEU-4=100×BP×exp(Σₙ₌₁⁴ ln(pₙ)/4)、BLEU-1=100×BP×p₁。pₙが0または未定義のときBLEU-4=0。chrFは空白を除くUnicode文字1~6-gramの一致度から、両側にn-gramが存在する次数のみの平均適合率P・平均再現率Rを算出し、chrFβ=100×(1+β²)PR/(β²P+R)。完全一致はNFC後の文字列一致行数÷全行数×100。

BLEU-4、BLEU-1、chrF、完全一致率(%)とn-gram適合率・長さ補正。

計算例(架空の数値)

候補「the the the the the the the」、参照「the cat is on the mat」、空白区切りではBLEU-1の修正適合率は2/7、BLEU-4は0です。

適用対象と限界

候補訳と参照訳を同じ文単位で対応付けられる、匿名の翻訳テキスト。複数参照、学習済み意味指標、言語判定、機械的な単語分割、chrF++、TER、翻訳品質の承認判定は含まない。短文のBLEU-4は0になりやすい。。

採用した方式

  • コーパスBLEU-1/4(Papineni et al. (2002), 1参照・無平滑化):対象範囲 対応する訳文を文ごとに照合し、集計した修正n-gram数とBPで算定/適用地域 global
  • chrFβ(Popović (2015) + SacreBLEU effective-order規約):対象範囲 文字1~6-gram、空白を除外、β=1/2/3/適用地域 global

方法と出典

方法:E839-v1.0.0: Papineni et al. 2002 BLEU-1/4 (unsmoothed); Popović 2015 chrF(1..6); SacreBLEU-style effective order; NFC/case-sensitive。データ記録日:2026-11-14。