ソフトマックス関数の微分の導出をご紹介

・ソフトマックス関数の式
$$ softmax(x)_i = \frac{e^{x_i}}{\sum^{n}_{j=1}e^{x_j}} \quad (i=1,2,…,n) $$

＞目次にもどる

\( Y=\sum^{n}_{j=1}e^{x_j} \)と置くと、ソフトマックス関数の微分を次のように表せます。

 

・①i=jの場合

$$ \frac{\partial y_i}{\partial x_i} = \frac{e^{x_i}Y-e^{x_i}e^{x_i}}{Y^2} = p(x_i) (1 – p(x_i))$$

 

・②i≠jの場合

$$ \frac{\partial y_i}{\partial x_j} = -\frac{e^{x_i}e^{x_j}}{Y^2} = -p(x_i)p(x_j)$$

 

＞目次にもどる

・ソフトマックス関数は、ある入力に対する「出力の確率」として扱える

$$ softmax(x_i) = \frac{e^{x_i}}{\sum^{n}_{j=1}e_{x_j}} = p(x_i) \quad (i=1,2,…,n)  $$

＞目次にもどる

・商の微分（Quotient Rule）を適用

$$ \frac{\partial P(x_i)}{\partial x_i} = \frac{ \frac{\partial e^{x_i}}{\partial x_i} Y – e^{x_i} \frac{\partial Y}{\partial x_i} }{ Y^2 } $$

↓

・1項目は\( e^{x_i} \)（そのまま。ネイピア数の微分で、係数なし）

$$ \quad \quad \quad \quad = \frac{ e^{x_i} Y – e^{x_i} \frac{\partial Y}{\partial x_i} }{ Y^2 } $$

↓

・2項目は分母\(Y\)をそのまま

$$ \quad \quad \quad \quad = \frac{ e^{x_i} Y – e^{x_i} \frac{\partial Y}{\partial x_i} }{ Y^2 } $$

↓

・3項目は分子\( e^{x_i} \)をそのまま（変化なし）

$$ \quad \quad \quad \quad = \frac{ e^{x_i} Y – e^{x_i} \frac{\partial Y}{\partial x_i} }{ Y^2 } $$

↓

・4項目は微分の結果、\( \frac{\partial Y}{\partial x_i} = \frac{\partial \sum^{n}_{j=1}e^{x_j}}{\partial x_i} = \frac{ \partial (e^{x_1} + e^{x_2} + \cdots e^{x_i} + \cdots + e^{x_n}) }{ \partial x_i} = 0 + 0 + \cdots e^{x_i} + \cdots 0 = e^{x_i} \)なので

$$ \quad \quad \quad \quad = \frac{ e^{x_i} Y – e^{x_i} e^{x_i} }{ Y^2 } $$

↓

・式変形

$$ \quad \quad \quad \quad = \frac{ e^{x_i} }{ Y } \cdot \frac{ Y – e^{x_i} }{ Y } $$

$$ \quad \quad \quad \quad = \frac{ e^{x_i} }{ Y } (1- \frac{ e^{x_i} }{ Y }) $$

$$ \quad \quad \quad \quad = p(x_i) (1 – p(x_i)) $$

よって、ソフトマックス関数の微分（i=jの場合）は自分自身を用いた簡易な式で表現できる事が分かりました。

＞目次にもどる

・残りの分母の項についても、ソフトマックス関数の結果に影響を与えるため、それらに関しても微分します。

$$ softmax(x)_i = \frac{e^{x_i}}{  (e^{x_1} + e^{x_2} + \cdots e^{x_i} + \cdots + e^{x_n}) } \quad (i=1,2,…,n) $$

（図１２１）

＞目次にもどる