LLM推論のKVキャッシュ・同時実行VRAM
バグ・不具合を報告
LLM推論時に保持するKV状態の容量と、同時実行による増加を概算する。
系列長は、保持するプロンプトと生成済みトークンを含む値です。リクエストごとの長さが異なる場合は合計token数で別途計算してください。
入力すると自動で計算します。Enterで次の項目へ進めます。次の入力欄を選んで進めます。
必要な入力・選択は6項目です。
計算結果
—GiB
- 1リクエストのKVキャッシュ
- —GiB
- 1トークンのKVキャッシュ
- —bytes
- Keyキャッシュ合計
- —GiB
- Valueキャッシュ合計
- —GiB
- 同時実行KVキャッシュの厳密値
- —bytes
必要な値を入力すると自動で計算します。
この計算機は使いやすかったですか?
回答はサイト改善のために保存します。入力値・計算結果は送りません。
ありがとうございます。よかったら、上の共有ボタンからこの計算機を紹介しませんか?
計算方法・適用範囲・出典
計算方法
1トークンのKVキャッシュ [bytes]=2(Key/Value)×層数×KVヘッド数×ヘッド次元×保存精度 [bytes/要素]。1件の容量=1トークンの容量×系列長。同時実行合計=1件の容量×同時数。Key/Valueは各半分。1 GiB=1,073,741,824 bytes。任意の2つのVRAM入力が揃った場合、合計=KVキャッシュ+モデル重み+その他のVRAM予約。容量はbyte整数で算定し、GiB表示だけ小数第12位まで丸めます。重み・その他のGiB入力は最も近いbyteへ丸めます。
KVキャッシュの1トークン・1件・同時合計、Key/Value別容量、および任意入力時のモデル重み込み単純合計。
計算例(架空の数値)
例:32層、KVヘッド8、次元128、FP16、系列長4,096トークン、同時実行4件なら、1トークン131,072 bytes、1件0.5 GiB、同時実行時2 GiB(Key 1 GiB/Value 1 GiB)。モデル重み14 GiB・その他2 GiBを別途指定した場合の単純合計は18 GiB。
適用対象と限界
デコーダ型Transformerの通常のfull-context attentionを持ち、各リクエストのKV保存が独立した推論。モデル自体の仕様推定、重み精度変換、GPU間シャーディング、paged/block確保の端数、prefix共有、sliding-window・hybrid attention・MLA、量子化scale、実行時活性化/ワークスペースの自動見積り、学習VRAMやAPI利用料金を含めない。。
採用した方式
- 独立KVキャッシュの理論格納容量(NVIDIA 2023 / vLLM 2026-11-13):対象範囲 KとVが同次元で、全attention層が同じKVヘッド構造のモデル。GPU全体の実割当測定ではない。/適用地域 global
方法と出典
方法:NVIDIA Inference Optimization(2023-11-17)/vLLM KVCacheSpec(2026-11-13照合)。データ記録日:2026-11-13。