学習VRAM・バッチサイズ概算
バグ・不具合を報告
単一GPU上の学習状態と仮定した活性値のメモリ内訳を比較し、マイクロバッチの容量を概算する。
活性値と一時領域の見積りに依存した概算です。実行時のピークVRAMを保証するものではありません。
入力すると自動で計算します。Enterで次の項目へ進めます。次の入力欄を選んで進めます。
必要な入力・選択は7項目です。
計算結果
—GiB
—件
- モデル重み
- —GiB
- 勾配
- —GiB
- 最適化状態
- —GiB
- 入力バッチの活性値
- —GiB
- 重み・勾配・最適化状態の合計
- —GiB
- VRAM残余(不足時は負)
- —GiB
必要な値を入力すると自動で計算します。
この計算機は使いやすかったですか?
回答はサイト改善のために保存します。入力値・計算結果は送りません。
ありがとうございます。よかったら、上の共有ボタンからこの計算機を紹介しませんか?
計算方法・適用範囲・出典
計算方法
P=パラメータ数(百万個×10^6)、b=1GPUマイクロバッチ(件)、a=活性値(MiB/件)、R=一時領域などの予備(GiB)。重み:FP32は4P bytes、FP16混合は(4+2)P bytes。勾配は4P bytes。最適化状態はAdamWで8P、Momentum SGDで4P、SGDで0 bytes。必要容量(GiB)=[重み+勾配+最適化状態+b×a×2^20]÷2^30+R。GPU容量をV(GiB)とすると、最大マイクロバッチ=max(0, floor((V×2^30−固定状態bytes−R×2^30)/(a×2^20)))。表示上限は100,000件。メモリは単純加算し、アクティベーションがバッチ件数に比例すると仮定します。
必要VRAM、重み・勾配・最適化状態・活性値の内訳、容量内最大マイクロバッチ、差分。
計算例(架空の数値)
パラメータ数1,000百万個、FP16混合、AdamWなら固定状態は18,000,000,000 bytes(約16.764 GiB)。1件512 MiB、バッチ2件、予備1 GiBの場合の必要VRAMは約18.764 GiB。GPU容量32 GiBなら最大マイクロバッチは28件です。
適用対象と限界
単一GPUに重み・勾配・最適化状態を全て保持する通常学習の計画概算。分散/ZeRO/FSDP、量子化、LoRA、一部のみ学習、オフロード、勾配チェックポイントによる活性値削減の自動予測、実測ピーク保証、KVキャッシュや推論メモリ、GPU料金は含みません。。
方法と出典
方法:E085-training-vram-budget-v1.0 (2026-11-13)。データ記録日:2026-11-13。