TransformerのMAC・FLOPs予算

Transformerブロックの行列積とSoftmaxの演算回数を構造寸法から見積もる。

計算対象はDense Transformerブロック。学習区分は逆伝播を順伝播の2倍とする演算量の近似です。

入力すると自動で計算します。Enterで次の項目へ進めます。次の入力欄を選んで進めます。

選択内容に応じて、残りの入力項目を案内します。

計算する内容

各ヘッドのQ/K/V次元=隠れ次元÷ヘッド数。割り切れる構成を入力します。

通常の2線形層FFNです。SwiGLUなどの追加射影は対象外です。

各系列のトークン数。因果マスクでも密なS×SのAttention行列積として数えます。


計算結果

必要な値を入力すると自動で計算します。

お気に入り一覧

計算方法・適用範囲・出典

計算方法

d=隠れ次元、f=FFN中間次元、L=層数、B=バッチ数、H=ヘッド数、S=処理トークン数、K=Attention対象長。順伝播・学習ではK=S、KVキャッシュ推論ではS=1、K=キャッシュ済み数+1。1層1系列の行列積MAC=3Sd²(Q/K/V射影)+Sd²(出力射影)+SKd(QKᵀ)+SKd(Attention重み付けV)+2Sdf(FFN)。Softmax FLOPs=3HSK。各値にL×Bを乗算。総FLOPs=2×行列積MAC+Softmax FLOPs。学習1ステップは順伝播の3倍(順伝播1+逆伝播2)と仮定します。計算対象のトークン数はB×Sです。

総MAC、総FLOPs、行列積とSoftmaxの内訳、トークン当たりFLOPs。

計算例(架空の数値)

架空の1層、d=4、H=2、f=8、S=3、B=2の順伝播:射影384 MAC、Attentionの行列積144 MAC、FFN384 MAC、計912 MAC。Softmax108 FLOPsなので総1932 FLOPs。学習1ステップの近似は5796 FLOPsです。

適用対象と限界

d_modelがヘッド数で割り切れ、各ヘッドのQ/K/V幅がd_model/headsであるDense Transformerブロック。埋め込み・最終語彙logits、LayerNorm/RMSNorm、活性化・バイアス・残差・ドロップアウト、オプティマイザ、勾配チェックポイント、実GPU性能、三角行列積の省略。GQA/MQA、SwiGLU、MoE、疎Attention、cross-Attention等の異なる構造は対象外です。。

採用した方式

  • 全系列の順伝播(Chinchilla 2022 Appendix F(ブロック部分)):対象範囲 Dense自己Attention、Q/K/V=隠れ次元、2層FFN/適用地域 global
  • 学習の順伝播+逆伝播(Chinchilla 2022 Appendix F(逆伝播2倍仮定)):対象範囲 1ステップの行列演算を順伝播3倍で概算/適用地域 global
  • KVキャッシュ付き1トークン(Vaswani 2017 §3.2、Hugging Face Transformers v4.57.0 cache):対象範囲 既存K/Vを再計算しない単一クエリ/適用地域 global

方法と出典

方法:E763 dense-block MAC/FLOPs v1.0(2026-11-14)。データ記録日:2026-11-14。