確認済Tokenizerのトークン数
バグ・不具合を報告
ByT5Tokenizerの実際のUTF-8バイトトークン化と特殊トークン数をローカルで確認する。
対象はByT5(Transformers v4.32.1)です。GPT・Claude等のトークン数と互換ではありません。
入力すると自動で計算します。Enterで次の項目へ進めます。次の入力欄を選んで進めます。
計算結果
—個
- 入力部分のトークン数
- —個
- 入力UTF-8長
- —バイト
- 入力内で認識した特殊トークン
- —個
- 自動付加したEOS
- —個
必要な値を入力すると自動で計算します。
この計算機は使いやすかったですか?
回答はサイト改善のために保存します。入力値・計算結果は送りません。
ありがとうございます。よかったら、上の共有ボタンからこの計算機を紹介しませんか?
計算方法・適用範囲・出典
計算方法
通常の文字はUnicode正規化せずUTF-8に符号化します。各バイトb(0~255)のトークンIDはb+3です。<pad>=0、</s>=1、<unk>=2、<extra_id_i>=259+i(i=0~124)。特殊トークン解釈を選んだ場合、これらの表記は1個のトークンです。EOSを付ける設定では、最後がID 1でない場合にだけID 1を1個追加します。合計数は実際に生成したID数です。
トークン総数、入力部分の数、入力UTF-8長、認識した特殊トークン数、先頭200トークンのID・区切り・バイト位置。
計算例(架空の数値)
「Unicode €.」は通常の12バイトから12トークン、EOSを付けると13トークンです。「日本語」は9バイト、EOSありで10トークンです。
適用対象と限界
ByT5Tokenizer v4.32.1 と google/byt5-small の固定仕様で扱うUnicode文字列。GPT系等のBPE/Unigram tokenizer、チャットテンプレート、独自追加トークン、ペア入力、パディング、テキスト正規化、モデル料金の推定には対応しません。現行共通フォームは単一行入力です。。
方法と出典
方法:Hugging Face Transformers v4.32.1 ByT5Tokenizer / google/byt5-small (extra_ids=125)。データ記録日:2026-11-14。