学習VRAM・バッチサイズ概算

単一GPU上の学習状態と仮定した活性値のメモリ内訳を比較し、マイクロバッチの容量を概算する。

活性値と一時領域の見積りに依存した概算です。実行時のピークVRAMを保証するものではありません。

入力すると自動で計算します。Enterで次の項目へ進めます。次の入力欄を選んで進めます。

必要な入力・選択は7項目です。

例:10億パラメータなら1,000。全パラメータが学習対象の想定です。

どちらも勾配はFP32で4 B/パラメータと仮定します。

全パラメータの状態がGPU上にある想定。更新時の一時領域は別です。

1回のforward/backwardで処理する件数。勾配累積後の実効バッチとは異なります。

同じ入力長・モデル・チェックポイント方式で見積もった1件増加分。自動推定しません。

1GPUで計算に使える容量。カードの公称GBとGiBは単位が異なります。

事前に見込む予備容量。不要と判断した場合のみ0を入力します。


計算結果

必要な値を入力すると自動で計算します。

お気に入り一覧

計算方法・適用範囲・出典

計算方法

P=パラメータ数(百万個×10^6)、b=1GPUマイクロバッチ(件)、a=活性値(MiB/件)、R=一時領域などの予備(GiB)。重み:FP32は4P bytes、FP16混合は(4+2)P bytes。勾配は4P bytes。最適化状態はAdamWで8P、Momentum SGDで4P、SGDで0 bytes。必要容量(GiB)=[重み+勾配+最適化状態+b×a×2^20]÷2^30+R。GPU容量をV(GiB)とすると、最大マイクロバッチ=max(0, floor((V×2^30−固定状態bytes−R×2^30)/(a×2^20)))。表示上限は100,000件。メモリは単純加算し、アクティベーションがバッチ件数に比例すると仮定します。

必要VRAM、重み・勾配・最適化状態・活性値の内訳、容量内最大マイクロバッチ、差分。

計算例(架空の数値)

パラメータ数1,000百万個、FP16混合、AdamWなら固定状態は18,000,000,000 bytes(約16.764 GiB)。1件512 MiB、バッチ2件、予備1 GiBの場合の必要VRAMは約18.764 GiB。GPU容量32 GiBなら最大マイクロバッチは28件です。

適用対象と限界

単一GPUに重み・勾配・最適化状態を全て保持する通常学習の計画概算。分散/ZeRO/FSDP、量子化、LoRA、一部のみ学習、オフロード、勾配チェックポイントによる活性値削減の自動予測、実測ピーク保証、KVキャッシュや推論メモリ、GPU料金は含みません。。

方法と出典

方法:E085-training-vram-budget-v1.0 (2026-11-13)。データ記録日:2026-11-13。