予測確率の校正・Brierと信頼度図

二値分類の確率予測の一致度を評価し、独立した校正用データで学習した等張回帰による補正後の評価指標を比較する。

予測確率は選択した陽性クラスの確率(0~1)です。入力データと結果は端末内で処理します。

Brierは確率の誤差と判別性能を併せ持ちます。ECE/MCEはビン数・方式に依存します。補正時の評価には学習用とは独立したデータを使用してください。

入力すると自動で計算します。Enterで次の項目へ進めます。次の入力欄を選んで進めます。

選択内容に応じて、残りの入力項目を案内します。

計算する内容
評価用データ必須
行予測確率(0~1) 任意正解ラベル 任意重み(空欄=1) 任意操作
1
2

3列を左端の欄へタブ区切りで貼り付けられます。1000行まで。

各行に「陽性クラスの確率、正解ラベル、任意の重み」を入力。左端の欄から3列TSV貼り付け可。空白行は対象外、重み空欄は1です。


計算結果

必要な値を入力すると自動で計算します。

お気に入り一覧

計算方法・適用範囲・出典

計算方法

二値の陽性指示値 y_i∈{0,1}、陽性確率 p_i∈[0,1]、重み w_i>0、W=Σw_i。Brier=Σ[w_i(p_i−y_i)²]/W。各ビン b の平均予測確率 p̄_b=Σ_b(w_i p_i)/W_b、実測陽性率 ȳ_b=Σ_b(w_i y_i)/W_b。ECE=Σ_b(W_b/W)|p̄_b−ȳ_b|、MCE=max_b|p̄_b−ȳ_b|。等幅は区間[0,1]の等分、分位数は無重み予測確率の線形補間分位点。内部境界上の確率は左側のビンへ入れ、0件のビンは集計表に残し指標から除外。等張回帰は別標本で重み付き最小二乗を単調非減少に制約して学習し、評価用確率に線形補間を適用(学習範囲外は端の値)。

重み付きBrierスコア、ECE、MCE、ビン別平均予測確率と実測陽性率の信頼度図。補正時は独立評価データの補正後Brierスコアと予測確率。

計算例(架空の数値)

正解[0,1,1,0]、陽性確率[0.1,0.9,0.8,0.3](各重み1)のBrierスコアは0.0375です。

適用対象と限界

二値分類のモデル外部または交差検証による予測確率と真値の匿名データ。評価・校正用データが元モデル学習データと分離されている場合を想定。多クラス分類、ROC/AUCによる判別、学習済み分類器の再訓練、交差検証の自動分割、同一データでの学習・評価、将来データへの性能保証は扱わない。

方法と出典

方法:scikit-learn 1.9.0 documentation(binary Brier/calibration_curve/isotonic);ECEはビン内絶対差の重み付き集約として定義。データ記録日:2026-11-14。