retrieva / deep-learning-from-scratch-2 Goto Github PK

ここにコメントしてください。コラボレータに追加します。

第14回（11/20）の勉強会の際に Ruby 実装のテストが通らなくなっていた問題について、もう少し調べてみました。

= を store に変更したタイミングだったのですが、どうやら store は引数を自動的に拡張して、上書き先の形に合わせてくれるようです。

サンプルコードです ⬇️

require 'numo/narray'

x1 = Numo::SFloat[[1, 2, 3], [4, 5, 6]]
y1 = Numo::SFloat[4]
x1 = y1

puts 'x1で代入した場合'
p x1

x2 = Numo::SFloat[[1, 2, 3], [4, 5, 6]]
x2.store(y1)

puts '#storeを利用して上書きした場合'
p x2

出力はこうなります⬇️ = は1要素のものに置き換わっているのに対して、 store は代入先の形（[2, 3]）になっているのが分かります。

x1で代入した場合
Numo::SFloat#shape=[1]
[4]
#storeを利用して上書きした場合
Numo::SFloat#shape=[2,3]
[[4, 4, 4],
 [4, 4, 4]]

昨日（2019/10/31）の読書会で「なぜRNNではtanhなのか？」という疑問が出ておりました。

• machine learning - What is the intuition of using tanh in LSTM - Stack Overflow
• [D] Why do you use tanh in a RNN? : MachineLearning

などを読んでいると tanh だと

• 値がある範囲に収まる
• 二階微分の値（勾配の変化）がゼロになるまでにしばらく維持される（ゼロになるまで勾配の値が大きい？）
• （学習が）実際に速く収束する
• 勾配の計算が（比較的）軽い
  等の理由があるようです。