多層パーセプトロンのアルゴリズムをご紹介（Excel計算のオマケ付き）

• ニューラルネットワークのモデルの種類の１つで、入力層と出力層の間に「隠れ層」があり「非線形分類」ができるのが特徴です。

• 基本的な論理ゲート（AND、OR、NOT）は１本の線で分類（発火する/しない）を表現可。
• しかしXORは特殊な回路で、１本の線では表現できません（線形分離不可）

• 基本的なモデルである「単純パーセプトロン」や「ロジスティック回帰」はあくまで「線形分類」です。
• しかし、基本の論理ゲートを組み合わせる事でXOR回路を実現可能です。
• 論理ゲート（破線部）をニューロンに見立てる（h1、h2）ことで「非線形分類」のモデルが作れます。

• このような入力と出力以外の層があるニューラルネットワークモデルを「多層パーセプトロン」と呼びます。
• 入力層と出力層の間にある層を「隠れ層」と呼びます。

↓

（図１０２②）

この時活性化関数\( f( \cdot ) \)、\( g( \cdot ) \)は活性化関数で、\( y, V, c, h, W, b \)はそれぞれ以下の通り。

\( \boldsymbol{x} = \begin{pmatrix} x_1 \\ \vdots \\ x_j \\ \vdots \\ x_{M} \end{pmatrix} \)

\( \boldsymbol{h} = \begin{pmatrix} h_1 \\ \vdots \\ h_j \\ \vdots \\ h_{J} \end{pmatrix} \boldsymbol{W} = \begin{pmatrix} w_{11} & \cdots & w_{1m} & \cdots & w_{1M} \\ \vdots \\ w_{j1} & \cdots & w_{jm} & \cdots & w_{jM} \\ \vdots \\ w_{J1} & \cdots & w_{Jm} & \cdots & w_{JM} \end{pmatrix} \boldsymbol{b} = \begin{pmatrix} b_1 \\ \vdots \\ b_j \\ \vdots \\ b_{J} \end{pmatrix} \)

\( \boldsymbol{y} = \begin{pmatrix} y_1 \\ \vdots \\ y_k \\ \vdots \\ y_{K} \end{pmatrix} \boldsymbol{V} = \begin{pmatrix} v_{11} & \cdots & v_{1j} & \cdots & v_{1J} \\ \vdots \\ v_{k1} & \cdots & v_{kj} & \cdots & v_{kJ} \\ \vdots \\ v_{K1} & \cdots & v_{Kj} & \cdots & v_{KJ} \end{pmatrix} \boldsymbol{c} = \begin{pmatrix} c_1 \\ \vdots \\ c_k \\ \vdots \\ c_{K} \end{pmatrix} \)

（図１１１）

●STEP2：尤度関数を設定

⇒省略

• (a)「２値分類」の場合は「こちらの記事のSTEP2」を参照。

\( \quad\quad L(\boldsymbol{w},\boldsymbol{v},b,c| \boldsymbol{x_n})= \displaystyle \prod_{n=1}^N {y_n}^{t_n} (1-y_n)^{1-t_n} \)

• (b)「多クラス分類」の場合は「こちらの記事のSTEP2」を参照。

\( \quad\quad L(\boldsymbol{W},\boldsymbol{V},\boldsymbol{b},\boldsymbol{c} | \boldsymbol{x_n}) = \displaystyle \prod_{n=1}^N \prod_{k=1}^K y_{nk}^{t_{nk}} \)

●STEP3：片方パラメータ（重みw）を固定して「バイアスb」を推定

●STEP4：もう片方のパラメータ（バイアスb）を固定して「重みw」を推定

・②勾配降下法

まずは簡単のため \( \boldsymbol{v_{k}}, c_{k}, \boldsymbol{w_{j}}, b_{j} \)の勾配を求めます。このとき、\( \boldsymbol{p} = W \boldsymbol{x}+\boldsymbol{b} \)、\( \boldsymbol{q} = V \boldsymbol{h}+\boldsymbol{c} \)と置きます。

==================

==================

\( \quad=b_j^{(i)}-\eta f(p_{j})(1-f(p_{j})) \sum^{K}_{k=1}  \frac{\partial E}{\partial q_{k}} v_{kj} \)

（図１１２）

よって、 \( \boldsymbol{V} = ( \boldsymbol{v_1}, \boldsymbol{v_2}, \cdots, \boldsymbol{v_K} )^\mathsf{T}, \boldsymbol{c} = (c_1,c_2,\cdots,c_K), \boldsymbol{W} = ( \boldsymbol{w_1}, \boldsymbol{w_2}, \cdots, \boldsymbol{w_J} )^\mathsf{T}, \boldsymbol{b} = (b_1,b_2,\cdots,b_J) \)の勾配は次のように求まります。

（図１１３）