コロケーションの関連度

同じコーパス内の順序付き隣接語対について、独立時と比較した共起の関連度を調べる。

同じ抽出規則で数えた、順序付きの隣接語対だけを入力してください。

PMIは共起の相対的な強さ、G²は独立性からの乖離の大きさです。G²に正負の方向はありません。

入力すると自動で計算します。Enterで次の項目へ進めます。次の入力欄を選んで進めます。

必要な入力・選択は4項目です。

総単語数ではなく、文境界をまたがない集計対象の「左語→右語」の位置数。

全対象位置のうち、左側の語がAである組の数。

全対象位置のうち、右側の語がBである組の数。

左がAかつ右がBの組数。0も入力できます。


計算結果

必要な値を入力すると自動で計算します。

お気に入り一覧

計算方法・適用範囲・出典

計算方法

N=有効な語対位置数、x=左がAの組数、y=右がBの組数、a=A→Bの組数。PMI=log₂(aN/(xy)) bit、期待共起数=xy/N、観測/期待比=aN/(xy)。2×2表は(a, x−a; y−a, N−x−y+a)。期待度数Eij=(行合計×列合計)/N。G²=2ΣOij ln(Oij/Eij)(自然対数、Oij=0の項は0)。a=0かつx,y>0のPMIは−∞。x=0またはy=0ではPMIを定義しません。分割表の整合しない頻度は計算しません。両指標とも平滑化せず、表示のみ小数8桁以内に丸めます。

PMI(bit)、2×2独立性の対数尤度比G²、期待共起数、観測/期待比、分割表。

計算例(架空の数値)

例:N=1000組、左がA=100組、右がB=50組、共起=20組なら期待共起=5組、観測/期待=4倍、PMI=2 bitです。G²は同じ2×2表から求めます。

適用対象と限界

同じ形態素解析・大小文字規則・文境界処理で切り出した、有効な順序付き隣接語対の頻度。任意幅の語窓、複数ヒットの重複集計、語順を無視した共起、異なる母集団の周辺頻度、TF-IDF、語義の正しさ・統計的有意性の自動判定は対象外。

採用した方式

  • PMI(Church & Hanks 1990 §4):対象範囲 同一母集団の順序付き隣接語対、平滑化なし/適用地域 global
  • 対数尤度比 G²(Dunning 1993 §§5.3, 6):対象範囲 同一の語対観測単位に基づく2×2分割表/適用地域 global

方法と出典

方法:Church & Hanks 1990 §4/Dunning 1993 §§5.3, 6;順序付き隣接ペア v1。データ記録日:2026-11-14。