TransformerのMAC・FLOPs予算
バグ・不具合を報告
Transformerブロックの行列積とSoftmaxの演算回数を構造寸法から見積もる。
計算対象はDense Transformerブロック。学習区分は逆伝播を順伝播の2倍とする演算量の近似です。
入力すると自動で計算します。Enterで次の項目へ進めます。次の入力欄を選んで進めます。
選択内容に応じて、残りの入力項目を案内します。
計算結果
—FLOPs
—MAC
- 行列積のFLOPs
- —FLOPs
- SoftmaxのFLOPs
- —FLOPs
- Attention行列積+Softmax
- —FLOPs
- 計算対象トークン当たり
- —FLOPs/トークン
必要な値を入力すると自動で計算します。
この計算機は使いやすかったですか?
回答はサイト改善のために保存します。入力値・計算結果は送りません。
ありがとうございます。よかったら、上の共有ボタンからこの計算機を紹介しませんか?
計算方法・適用範囲・出典
計算方法
d=隠れ次元、f=FFN中間次元、L=層数、B=バッチ数、H=ヘッド数、S=処理トークン数、K=Attention対象長。順伝播・学習ではK=S、KVキャッシュ推論ではS=1、K=キャッシュ済み数+1。1層1系列の行列積MAC=3Sd²(Q/K/V射影)+Sd²(出力射影)+SKd(QKᵀ)+SKd(Attention重み付けV)+2Sdf(FFN)。Softmax FLOPs=3HSK。各値にL×Bを乗算。総FLOPs=2×行列積MAC+Softmax FLOPs。学習1ステップは順伝播の3倍(順伝播1+逆伝播2)と仮定します。計算対象のトークン数はB×Sです。
総MAC、総FLOPs、行列積とSoftmaxの内訳、トークン当たりFLOPs。
計算例(架空の数値)
架空の1層、d=4、H=2、f=8、S=3、B=2の順伝播:射影384 MAC、Attentionの行列積144 MAC、FFN384 MAC、計912 MAC。Softmax108 FLOPsなので総1932 FLOPs。学習1ステップの近似は5796 FLOPsです。
適用対象と限界
d_modelがヘッド数で割り切れ、各ヘッドのQ/K/V幅がd_model/headsであるDense Transformerブロック。埋め込み・最終語彙logits、LayerNorm/RMSNorm、活性化・バイアス・残差・ドロップアウト、オプティマイザ、勾配チェックポイント、実GPU性能、三角行列積の省略。GQA/MQA、SwiGLU、MoE、疎Attention、cross-Attention等の異なる構造は対象外です。。
採用した方式
- 全系列の順伝播(Chinchilla 2022 Appendix F(ブロック部分)):対象範囲 Dense自己Attention、Q/K/V=隠れ次元、2層FFN/適用地域 global
- 学習の順伝播+逆伝播(Chinchilla 2022 Appendix F(逆伝播2倍仮定)):対象範囲 1ステップの行列演算を順伝播3倍で概算/適用地域 global
- KVキャッシュ付き1トークン(Vaswani 2017 §3.2、Hugging Face Transformers v4.57.0 cache):対象範囲 既存K/Vを再計算しない単一クエリ/適用地域 global
方法と出典
方法:E763 dense-block MAC/FLOPs v1.0(2026-11-14)。データ記録日:2026-11-14。