2017-12-23_20-22-47_494

ゼロから作るDeep Learning 5章「誤差逆伝播法」を終えました。

ニューラルネットワークの学習は次の順序で行われます。

----------
ミニバッチ

勾配の算出

パラメータの更新

上記繰り返し(過学習に注意)
----------

今回の章では勾配の算出に時間のかかる数値微分ではなく、誤差逆伝播法を用いて高速化を図る方法を学びました。


数値微分:
◯実装が簡単(ミスが起きにくい
△計算に時間がかかる


誤差逆伝播法:
◯高速に計算できる
△実装が複雑(ミスが起きやすい


勾配確認(gradient check):
両者で求めた勾配の結果が(ほとんど)一致するか確認すること



重要事項がどんどん増えていきます。
最後の方に実装したコードは、何も見ずに書けるくらい復習しなければ。

東大生ブログランキング