活性化関数の値と導関数

機械学習で使用する活性化関数の出力と一次・二次導関数を、入力値・数値列で照合する。

softmaxは数値列全体の変換です。ReLU・Leaky ReLU(α≠1)の0では一次・二次導関数が、Softsignの0では二次導関数が定義されません。

入力すると自動で計算します。数値列のEnterは改行です。

計算する内容

改行・空白・タブで区切って入力してください。1,234は1つの数値です。64個まで。

スカラーは1個、数値列は順に追加。−30~30の有限実数、最大64個。softmaxは最大8個です。


計算結果

必要な値を入力すると自動で計算します。

お気に入り一覧

計算方法・適用範囲・出典

計算方法

sigmoid(x)=1/(1+exp(−x))、tanh(x)、ReLU(x)=max(0,x)、Leaky ReLU(x)=x(x≥0)/αx(x<0)、Softplus(x)=ln(1+exp(x))、Softsign(x)=x/(1+|x|)。Softmax:y[i]=exp(x[i]−m)/Σexp(x[j]−m)、m=max(x)。一次導関数J[i,j]=y[i](δ[i,j]−y[j])、二次導関数H[i,j,k]=y[i]{(δ[i,j]−y[j])(δ[i,k]−y[k])−y[j](δ[j,k]−y[k])}。

関数値、一次・二次導関数。softmaxではベクトル値、ヤコビアン、各出力成分のヘッセ行列。

計算例(架空の数値)

Sigmoid(0)=0.5、一次導関数0.25、二次導関数0。ReLU(−2)=0。Softmax([1,1])=[0.5,0.5]、ヤコビアンの対角は0.25・非対角は−0.25。

適用対象と限界

数理・機械学習の学習・研究で使用する有限実数のスカラーと一次元の数値列。複素数、学習済みモデル・自動微分・高精度演算、各MLライブラリ固有のReLUのゼロ劣勾配、入力絶対値30超、64値超(softmaxは8値超)は対象外。

方法と出典

方法:V96-N017 v1.0(2026-11-20、IEEE 754 double、表示12有効桁)。データ記録日:2026-11-20。