文書群の語頻度・TF-IDF

複数文書の語の出現回数とTF-IDF特徴量を比較する。

文書の語境界は入力者が指定します。データはブラウザ内で処理し、外部の解析APIへ送信しません。

上限:20文書、合計12000語、語彙700種類、文書×語900組。

項目を入力・選択してから「計算する」を押してください。

必要な入力・選択は2項目です。

文書名と分かち書きした語列必須
行文書名語列(空白区切り)操作
1
2

2列を左端の欄へタブ区切りで貼り付けられます。20行まで。

各文書を1行に入力。日本語も語と語の間に半角または全角スペースを入れてください。空欄行は集計対象に含めません。

語列全体に同じ正規化を施してから空白で分割します。句読点や助詞は自動削除しません。


計算結果

値を入力して計算してください。

お気に入り一覧

計算方法・適用範囲・出典

計算方法

文書dにおける語tの出現回数TF(t,d)を数え、全文書数N、語tが現れる文書数df(t)からIDF(t)=ln((1+N)÷(1+df(t)))+1を求めます。正規化前TF-IDF=TF×IDF。文書ごとに全語の二乗和平方根で割ってL2正規化します。空白で区切った語のみを数え、出現しない語は0として表から省略します。

総語数、語彙数、語ごとの総出現回数・文書頻度・IDF、文書ごとの出現回数・正規化前/後TF-IDF。

計算例(架空の数値)

架空の文書A「猫 猫 犬」と文書B「猫 鳥」では、猫の文書頻度は2、犬と鳥はそれぞれ1。IDFは猫が1、犬・鳥が約1.405465です。文書Aの猫の正規化前TF-IDFは2となります。

適用対象と限界

空白で語の境界が指定され、同じ処理規則で比較する2〜20件の文書。日本語の自動形態素解析、ストップワード除去、n-gram、sublinear TF、IDF方式の切替、検索順位やSEO成果の推定は対象外です。

方法と出典

方法:scikit-learn 1.9.0 / TfidfTransformer defaults(2026-11-13確認)、分かち書き入力・NFKC選択 v1。データ記録日:2026-11-13。