文章の既知語・未知語と語彙被覆率

事前に指定した学習者の既知語集合について、文章中の既知語割合と不足語の頻度を求める。

既知語の判定は入力した語彙表だけに基づきます。活用形・固有名詞の推定は行いません。

token被覆率は出現数に基づく割合、type被覆率は異なる基本形の割合です。理解の程度を示す点数ではありません。

入力すると自動で計算します。Enterで次の項目へ進めます。次の入力欄を選んで進めます。

必要な入力・選択は5項目です。

分かち書き済みの語列は空白で区切ります。日本語の文は事前に形態素解析してください。英数字の文章は自動抽出も選べます。

分かち書き方式は語の両端の記号だけを除きます。日本語を文字列から自動で単語分割する機能ではありません。

語彙表(既知語・基本形・固有名詞)任意
行語形基本形(任意) 任意扱い 任意操作
1
2
3

3列を左端の欄へタブ区切りで貼り付けられます。1000行まで。

1行に1語形。基本形が空なら語形と同じです。既知語以外の活用形をまとめる場合は「未知」を指定します。固有名詞も明示登録します。3列TSVを貼り付け可能。

固有名詞を自動検出する機能ではありません。語彙表で「固有名詞」と指定した語だけに適用します。

0〜100%。上位の未知基本形から追加した場合の必要最小数を計算します。


計算結果

必要な値を入力すると自動で計算します。

お気に入り一覧

計算方法・適用範囲・出典

計算方法

token被覆率=既知token出現数÷集計対象token出現数×100。type被覆率=既知基本形数÷集計対象基本形数×100。表の語形→基本形を明示的に適用し、語彙表にない語は語形そのものを基本形として未知扱い。目標の追加基本形数は、未知基本形を出現頻度の降順(同数なら文章での初出順)に既知へ変更し、既知token出現数+追加した語の頻度合計が目標%以上になる最小数。割合は内部で丸めず比較し、表示だけ小数第6位で丸めます。

token/type被覆率、分母と既知語数、未知基本形別頻度、必要な追加基本形数と被覆率曲線。

計算例(架空の数値)

語列「a a b c」、既知語「a」「b」、目標100%ならtoken被覆率75%(3/4)、type被覆率66.666667%(2/3)、未知語cが1回、追加は1語です。

適用対象と限界

事前に分割した言語の語列、またはASCII英数字の文章。最大文字数・語彙表行数は現行フォームの上限内。日本語形態素解析、活用推定、BNC/COCA等の外部語彙表内蔵、語義の曖昧性解消、理解度・読解力判定、頻度外の学習効果推定は対象外。

方法と出典

方法:explicit-lemma-coverage/1.0.0。データ記録日:2026-11-14。