Loading [MathJax]/extensions/tex2jax.js

Rainbow Engine

IT技術を分かりやすく簡潔にまとめることによる学習の効率化、また日常の気付きを記録に残すことを目指します。

Keras 機械学習 (Machine Learning)

多層パーセプトロンをKerasで実装した例をご紹介

投稿日:2022年10月26日 更新日:

<目次>

多層パーセプトロンをKerasで実装した例をご紹介
 (1-1) 実装のフローとポイント
  STEP1:モデルの定義
  STEP2:誤差関数の定義
  STEP3:最適化手法の定義(例:勾配降下法)
  STEP4:セッションの初期化
  STEP5:学習
 (1-2) 実装例

多層パーセプトロンをKerasで実装した例をご紹介

多クラスロジスティクス回帰を実装する際のポイント(実装のステップ)と、Kerasで実装したサンプルコードをご紹介します。
※多クラスロジスティクス回帰とは?について知りたい方はこちらもご覧ください。
⇒(参考)ロジスティック回帰の式変形(多クラス版)のご紹介(ディープラーニング)

(1-1) 実装のフローとポイント

●STEP1:モデルの定義

・入力の電気信号xの初期化
・正解値tの定義
・隠れ層(シグモイド):h = softmax(Wx + b)の定義
・出力層(シグモイド):y = softmax(Vh + c)の定義
(図111)
(補足①)
Kerasの場合、以下の項目は Sequentialクラス のインスタンス生成時に、引数で指定する Dense インスタンスや Activation インスタンスの中に内包されているため、単独の変数としては定義していない。
  • 重みWの定義
  • バイアスbの定義
  • 重みVの定義
  • バイアスcの定義
(図112)
(補足②)
Kerasの場合、以下の項目は compile関数 の中に内包されているため、単独の変数としては定義していない。
  • 重みVの勾配(∂E(W,V,b,c)/∂V)の計算
  • バイアスcの勾配(∂E(W,V,b,c)/∂c)の計算
  • 重みWの勾配(∂E(W,V,b,c)/∂W)の計算
  • バイアスbの勾配(∂E(W,V,b,c)/∂b)の計算
  • 学習率:ηの定義
(図113)

●STEP2:誤差関数の定義

・交差エントロピー誤差関数:E(W,V,b,c) = -Σ[n=1…N] Σ[n=1…K]{tnk*log(ynk)}
⇒ 今回は不要(確率的勾配降下法を使うため、誤差関数Eは計算不要)

●STEP3:最適化手法の定義(例:勾配降下法)

Kerasの場合、最適化手法として確率的勾配降下法(SGD)を compile 関数で指定することにより、下記のような通常の実装で必要だった複雑な処理を明示的に記述する必要がなくなります。
(不要)Kerasでは明示的にこれらの処理を記述する必要なし:
  • 隠れ層(シグモイド):h = σ(Wx + b) の計算
  • 出力層(シグモイド):y = σ(Vh + c) の計算
  • 重みVの勾配:∂E(W,V,b,c)/∂V の計算
  • バイアスcの勾配:∂E(W,V,b,c)/∂c の計算
  • 重みWの勾配:∂E(W,V,b,c)/∂W の計算
  • バイアスbの勾配:∂E(W,V,b,c)/∂b の計算
  • 重みV、Wの再計算
  • バイアスc、bの再計算
これらの処理は Keras に内包されているため、model.compile で最適化手法(SGD)と誤差関数を指定するだけで、自動的に計算されます。

●STEP4:セッションの初期化

今回は不要(TensorFlow v2以降はSessionを使用しないため)

●STEP5:学習

fit関数でエポックを指定して実行

目次にもどる

(1-2) 実装例

(サンプルプログラム)

  1. import numpy as np
  2. from keras.models import Sequential
  3. from keras.layers import Dense, Activation
  4. from keras.optimizers import SGD
  5. from sklearn.utils import shuffle
  6.  
  7. # 入力xの次元
  8. M = 2
  9. # 隠れ層hの次元(クラス数)
  10. J = 2
  11. # 出力yの次元(クラス数)
  12. K = 1
  13. # 入力データセットの総
  14. nc = 10
  15. # 入力データセットの総数
  16. N = nc * K
  17. # エポック数
  18. epoch_num = 2000
  19. # ミニバッチのサイズ
  20. mini_batch_size = 2
  21.  
  22. def multi_layer_perceptron(Xarg,targ):
  23. ############################################
  24. # STEP1:モデルの定義
  25. ############################################
  26.  
  27. # 入力の電気信号xの初期化
  28. X = np.array(Xarg)
  29. # 正解値tの定義
  30. t = np.array(targ)
  31.  
  32. # 入力層 - 隠れ層の定義
  33. #  Dense(input_dim=M, units=J):入力がM次元、出力がJ次元のネットワーク
  34. #   ⇒ W[J行×M列] × xn[M行×1列] + b[J行×1列]に相当
  35. #  Activation('sigmoid'):活性化関数として、シグモイド関数を指定
  36. #   ⇒ y = σ(wx + b)に相当
  37. model = Sequential()
  38. model.add(Dense(input_dim=M, units=J))
  39. model.add(Activation('sigmoid'))
  40. # 隠れ層 - 出力層の定義
  41. #  Dense(units=K):出力がK次元のネットワーク
  42. #   ⇒ V[K行×J列] × h[J行×1列] + c[K行×1列]に相当
  43. model.add(Dense(units=K))
  44. model.add(Activation('sigmoid'))
  45.  
  46. ############################################
  47. # STEP2:誤差関数の定義
  48. ############################################
  49. # ⇒compile時の引数として「binary_crossentropy」を指定
  50. ############################################
  51. # STEP3:最適化手法の定義(例:確率的勾配降下法)
  52. ############################################
  53.  
  54. # loss='binary_crossentropy'
  55. #  誤差関数の種類を指定。
  56. #  2値(発火する/しない)の交差エントロピー関数の計算をさせる。
  57. # SGD(lr=0.1)
  58. #  最適化の手法を指定している。「SGD」は確率的勾配降下法で「lr」はその学習率。
  59. #  それぞれ「Stochastic Gradient Descent」と「learning rate」の頭文字を取っている。
  60. model.compile(loss='binary_crossentropy',optimizer=SGD(lr=0.1))
  61.  
  62. ############################################
  63. # STEP4:セッションの初期化
  64. ############################################
  65. # ⇒今回は不要
  66. # (TensorFlow v2以降はSessionを使用しないため)
  67.  
  68. ############################################
  69. # STEP5:学習
  70. ############################################
  71.  
  72. # 指定したエポック数、繰り返し学習を行う
  73. #  第1引数:Xは入力データ(入力の電気信号)
  74. #  第2引数:tは正解データ(出力の電気信号の正解値)
  75. #  第3引数:エポック(データ全体に対する反復回数)の数
  76. #  第4引数:ミニバッチ勾配降下法(N個の入力データをM個ずつのグループに分けて学習する際のMの値)
  77. model.fit(X,t,epochs=epoch_num,batch_size=mini_batch_size)
  78.  
  79. ############################################
  80. # STEP6:学習結果の確認
  81. ############################################
  82.  
  83. # 分類が正しい結果になっているか?(発火するかどうか?が正しい結果になっているか)
  84. X_,t_ = shuffle(X,t)
  85. # 分類が正しい結果になっているか?(発火するかどうか?が正しい結果になっているか)
  86. classes = (model.predict(X,batch_size=mini_batch_size) > 0.5).astype("int32")
  87. # ネットワークの出力「y」の計算結果を取得
  88. prob = model.predict(X,batch_size=mini_batch_size)
  89.  
  90. print("*******************************")
  91. print("classified: ",t==classes)
  92. print("probability: ",prob)
  93. print("*******************************")
  94.  
  95. def main():
  96.  
  97. # テスト用データセット
  98. X = [[0,0],[0,1],[1,0],[1,1]]
  99. t = [[0],[1],[1],[0]]
  100.  
  101. multi_layer_perceptron(X,t)
  102. if __name__ == "__main__":
  103. main()
実行結果(抜粋)
  1. ~中略~
  2. Epoch 3997/4000
  3. 2/2 [==============================] - 0s 0s/step - loss: 0.2006
  4. Epoch 3998/4000
  5. 2/2 [==============================] - 0s 0s/step - loss: 0.2004
  6. ...
  7. *******************************
  8. classified: [[ True]
  9. [ True]
  10. [ True]
  11. [ True]]
  12. probability: [[0.0793792 ]
  13. [0.83870304]
  14. [0.8389272 ]
  15. [0.30473807]]
  16. *******************************
(図121)

目次にもどる

Adsense審査用広告コード


Adsense審査用広告コード


-Keras, 機械学習 (Machine Learning)
-

執筆者:


comment

メールアドレスが公開されることはありません。 が付いている欄は必須項目です

関連記事

no image

numpy.dotの使い方について(次元別の仕様を整理)

  <目次> (1) numpy.dotの使い方について(次元別の仕様を整理)  (1-1) numpy.dotの次元別の挙動  (1-2) numpy.dotの次元別の挙動(詳細)  (1 …

no image

ディープラーニングの論理回路とは?Pythonのサンプルプログラムもご紹介

  <目次> (1) ディープラーニングの論理回路とは?Pythonのサンプルプログラムもご紹介  (1-1) ニューラルネットワークとは?  (1-2) 論理回路とは?  (1-3) AN …

tensorflowのmatmulの使い方について(次元別の仕様やnumpy.matmulとの違いを整理)

  <目次> (1) tensorflowのmatmulの使い方について(次元別の仕様やnumpy.matmulとの違いを整理)  (1-1) tensorflow.matmulの次元別の挙 …

Kerasで「AttributeError: ‘Sequential’ object has no attribute ‘XXX’」エラー原因・対処(+predict_classes関数やpredict_proba関数の解説)

  <目次> (1) Kerasで「AttributeError: ‘Sequential’ object has no attribute ‘XXX&# …

no image

Tensorflowで「Could not load dynamic library ‘cudart64_110.dll’」が出る原因と対処

  <目次> (1) Tensorflowで「Could not load dynamic library ‘cudart64_110.dll’」が出る原因と対処   …

  • English (United States)
  • 日本語
S