LLM推論のKVキャッシュ・同時実行VRAM

LLM推論時に保持するKV状態の容量と、同時実行による増加を概算する。

系列長は、保持するプロンプトと生成済みトークンを含む値です。リクエストごとの長さが異なる場合は合計token数で別途計算してください。

入力すると自動で計算します。Enterで次の項目へ進めます。次の入力欄を選んで進めます。

必要な入力・選択は6項目です。

KVキャッシュを持つattention層の数。

Queryヘッド数ではなく、Key/Valueに保存するヘッド数。GQA・MQAでは特に確認してください。

KeyとValueが同じ次元数のモデルを対象とします。

モデル重みの精度とは別です。FP8はscale等を含まない理論上の1バイト/要素です。

保存する入力・生成済みトークンの合計。複数リクエストが同じ長さと仮定します。

各リクエストが独立したKVキャッシュを保持する場合の数。

実際に配置する重み容量を入力。推論要求ごとに重複加算しません。

活性化・ワークスペースなどの予約見込みを合計値で入力。自動推定はしません。


計算結果

必要な値を入力すると自動で計算します。

お気に入り一覧

計算方法・適用範囲・出典

計算方法

1トークンのKVキャッシュ [bytes]=2(Key/Value)×層数×KVヘッド数×ヘッド次元×保存精度 [bytes/要素]。1件の容量=1トークンの容量×系列長。同時実行合計=1件の容量×同時数。Key/Valueは各半分。1 GiB=1,073,741,824 bytes。任意の2つのVRAM入力が揃った場合、合計=KVキャッシュ+モデル重み+その他のVRAM予約。容量はbyte整数で算定し、GiB表示だけ小数第12位まで丸めます。重み・その他のGiB入力は最も近いbyteへ丸めます。

KVキャッシュの1トークン・1件・同時合計、Key/Value別容量、および任意入力時のモデル重み込み単純合計。

計算例(架空の数値)

例:32層、KVヘッド8、次元128、FP16、系列長4,096トークン、同時実行4件なら、1トークン131,072 bytes、1件0.5 GiB、同時実行時2 GiB(Key 1 GiB/Value 1 GiB)。モデル重み14 GiB・その他2 GiBを別途指定した場合の単純合計は18 GiB。

適用対象と限界

デコーダ型Transformerの通常のfull-context attentionを持ち、各リクエストのKV保存が独立した推論。モデル自体の仕様推定、重み精度変換、GPU間シャーディング、paged/block確保の端数、prefix共有、sliding-window・hybrid attention・MLA、量子化scale、実行時活性化/ワークスペースの自動見積り、学習VRAMやAPI利用料金を含めない。。

採用した方式

  • 独立KVキャッシュの理論格納容量(NVIDIA 2023 / vLLM 2026-11-13):対象範囲 KとVが同次元で、全attention層が同じKVヘッド構造のモデル。GPU全体の実割当測定ではない。/適用地域 global

方法と出典

方法:NVIDIA Inference Optimization(2023-11-17)/vLLM KVCacheSpec(2026-11-13照合)。データ記録日:2026-11-13。