活性化関数の値と導関数
バグ・不具合を報告
機械学習で使用する活性化関数の出力と一次・二次導関数を、入力値・数値列で照合する。
softmaxは数値列全体の変換です。ReLU・Leaky ReLU(α≠1)の0では一次・二次導関数が、Softsignの0では二次導関数が定義されません。
入力すると自動で計算します。数値列のEnterは改行です。
計算結果
—
- 入力値の個数
- —個
必要な値を入力すると自動で計算します。
この計算機は使いやすかったですか?
回答はサイト改善のために保存します。入力値・計算結果は送りません。
ありがとうございます。よかったら、上の共有ボタンからこの計算機を紹介しませんか?
計算方法・適用範囲・出典
計算方法
sigmoid(x)=1/(1+exp(−x))、tanh(x)、ReLU(x)=max(0,x)、Leaky ReLU(x)=x(x≥0)/αx(x<0)、Softplus(x)=ln(1+exp(x))、Softsign(x)=x/(1+|x|)。Softmax:y[i]=exp(x[i]−m)/Σexp(x[j]−m)、m=max(x)。一次導関数J[i,j]=y[i](δ[i,j]−y[j])、二次導関数H[i,j,k]=y[i]{(δ[i,j]−y[j])(δ[i,k]−y[k])−y[j](δ[j,k]−y[k])}。
関数値、一次・二次導関数。softmaxではベクトル値、ヤコビアン、各出力成分のヘッセ行列。
計算例(架空の数値)
Sigmoid(0)=0.5、一次導関数0.25、二次導関数0。ReLU(−2)=0。Softmax([1,1])=[0.5,0.5]、ヤコビアンの対角は0.25・非対角は−0.25。
適用対象と限界
数理・機械学習の学習・研究で使用する有限実数のスカラーと一次元の数値列。複素数、学習済みモデル・自動微分・高精度演算、各MLライブラリ固有のReLUのゼロ劣勾配、入力絶対値30超、64値超(softmaxは8値超)は対象外。
方法と出典
方法:V96-N017 v1.0(2026-11-20、IEEE 754 double、表示12有効桁)。データ記録日:2026-11-20。