確率的勾配降下法(SGD)

最適化>SGDも参照のこと
誤算関数$E(\bold{w})$を最小化するパラメータ$\bold{w}$を求める
バッチ学習よりオンライン学習のSGD
- 更新のたびに目的関数が変わるので，局所解に陥いって抜け出せないということを防げる
- 途中経過を監視できる
- データを途中で増やせる
ミニバッチ
- 重みの更新をサンプル数1ではなく，複数サンプル（ミニバッチ）で行う
- 更新の重みを平準化するため，多クラス分類だと各クラスから1つ以上サンプルを入れるのが理想
- 大きすぎるバッチサイズはSGDのよさを損なう

過学習の緩和（正則化）

重み減衰
- 誤差関数に重みの2乗話を加え，それを最小化する
- 通常ネットワークの重みのみに適用し，バイアスには適用しない
重み上限
- 重みの大きさの上限を制約する
ドロップアウト
- 学習に使うユニットを確率$p$で選び，一部のユニットを使わない（強制的に自由度を下げる）
- $p$は層で異なっていても良い
- ユニットの選出は重み更新ごとに行う
- 学習終了後に推論に使うときは，無効化の対象とした層の出力を一律$p$倍し，全てのユニットを使う

学習のトリック

データの正規化
データ拡張
複数ネットの平均
学習係数
- 最初は大きい係数で，小さくしていく
- 層ごとに異なる値を使う

モメンタム
重みの初期値の事前学習
サンプルの順序の調整