ニューラルネットワークの学習は次の順序で行われます。
----------
ミニバッチ
↓
勾配の算出
↓
パラメータの更新
↓
上記繰り返し(過学習に注意)
----------
今回の章では勾配の算出に時間のかかる数値微分ではなく、誤差逆伝播法を用いて高速化を図る方法を学びました。
数値微分:◯実装が簡単(
ミスが起きにくい)
△計算に時間がかかる
誤差逆伝播法:◯高速に計算できる
△実装が複雑(
ミスが起きやすい)
勾配確認(gradient check):両者で求めた勾配の結果が(ほとんど)一致するか確認すること
重要事項がどんどん増えていきます。
最後の方に実装したコードは、何も見ずに書けるくらい復習しなければ。