情報エントロピー・相互情報量
バグ・不具合を報告
離散カテゴリの観測分布から不確実性と2変数が共有する情報量を求める。
カテゴリ名と値だけを入力します。空欄の行は計算対象外ですが、入力途中の行・重複カテゴリは計算できません。
入力すると自動で計算します。Enterで次の項目へ進めます。次の入力欄を選んで進めます。
選択内容に応じて、残りの入力項目を案内します。
計算結果
—
- 入力値の合計
- —
- カテゴリ数
- —
必要な値を入力すると自動で計算します。
この計算機は使いやすかったですか?
回答はサイト改善のために保存します。入力値・計算結果は送りません。
ありがとうございます。よかったら、上の共有ボタンからこの計算機を紹介しませんか?
計算方法・適用範囲・出典
計算方法
有限離散分布でH(X)=−Σx p(x)log_b p(x)、H(X,Y)=−Σx,y p(x,y)log_b p(x,y)。H(X|Y)=H(X,Y)−H(Y)、H(Y|X)=H(X,Y)−H(X)、I(X;Y)=H(X)+H(Y)−H(X,Y)。確率0の項は0とし、度数は合計で割る。底bは2、e、10。
H(X)、および同時分布ではH(Y)、H(X,Y)、H(X|Y)、H(Y|X)、I(X;Y)。
計算例(架空の数値)
XがAとBで各2回ならH(X)=1 bit。2変数で(A,0)と(B,1)だけが各2回ならH(X)=H(Y)=1 bit、H(X,Y)=1 bit、H(X|Y)=H(Y|X)=0 bit、I(X;Y)=1 bit。
適用対象と限界
カテゴリの区別と同時発生の組が定義された有限離散分布。度数は非負整数、確率は0~1で合計1とする。連続分布の微分エントロピー、欠測の補完、標本誤差・信頼区間、補正付き推定量、因果推論、パスワードの一様な探索空間、時系列の情報率は扱わない。
採用した方式
- Shannon離散エントロピー・相互情報量(1948年原著(有限離散分布)):対象範囲 有限個の離散カテゴリと正規化された度数・同時確率/適用地域 global
方法と出典
方法:Shannon-1948-discrete-v1。データ記録日:2026-11-13。