情報エントロピー・相互情報量

離散カテゴリの観測分布から不確実性と2変数が共有する情報量を求める。

カテゴリ名と値だけを入力します。空欄の行は計算対象外ですが、入力途中の行・重複カテゴリは計算できません。

入力すると自動で計算します。Enterで次の項目へ進めます。次の入力欄を選んで進めます。

選択内容に応じて、残りの入力項目を案内します。

計算する内容

度数からは総数で割って確率を求めます。確率は合計1(誤差±1e-10以内)を入力してください。

カテゴリ別の値必須
行カテゴリ X度数・確率操作
1
2

2列を左端の欄へタブ区切りで貼り付けられます。200行まで。

1カテゴリにつき1行。重複は入力エラーになります。0は入力できます。


計算結果

必要な値を入力すると自動で計算します。

お気に入り一覧

計算方法・適用範囲・出典

計算方法

有限離散分布でH(X)=−Σx p(x)log_b p(x)、H(X,Y)=−Σx,y p(x,y)log_b p(x,y)。H(X|Y)=H(X,Y)−H(Y)、H(Y|X)=H(X,Y)−H(X)、I(X;Y)=H(X)+H(Y)−H(X,Y)。確率0の項は0とし、度数は合計で割る。底bは2、e、10。

H(X)、および同時分布ではH(Y)、H(X,Y)、H(X|Y)、H(Y|X)、I(X;Y)。

計算例(架空の数値)

XがAとBで各2回ならH(X)=1 bit。2変数で(A,0)と(B,1)だけが各2回ならH(X)=H(Y)=1 bit、H(X,Y)=1 bit、H(X|Y)=H(Y|X)=0 bit、I(X;Y)=1 bit。

適用対象と限界

カテゴリの区別と同時発生の組が定義された有限離散分布。度数は非負整数、確率は0~1で合計1とする。連続分布の微分エントロピー、欠測の補完、標本誤差・信頼区間、補正付き推定量、因果推論、パスワードの一様な探索空間、時系列の情報率は扱わない。

採用した方式

  • Shannon離散エントロピー・相互情報量(1948年原著(有限離散分布)):対象範囲 有限個の離散カテゴリと正規化された度数・同時確率/適用地域 global

方法と出典

方法:Shannon-1948-discrete-v1。データ記録日:2026-11-13。