最適化
山登り法
近傍の内で最も成績の良いものが現在の解より良ければ入れ替える，を繰り返す． 初期値によって局所解になりうる．
- バッチ学習:
- 勾配法 - 最急勾配法，(準)ニュートン法，L-BFGS
- オンライン学習
- 確率的勾配降下法 (SGD)
- 劣微分を用いた最適化
- 劣勾配法: 基本は勾配法と同じだが，微分不可能な点では，劣微分から"適当に"勾配を選ぶ
- FOBOS (Forward Backward Splitting)
- EMアルゴリズム
焼きなまし法
近傍の内から1つをランダムで選び，ある遷移確率（主にメトロポリス法）で入れ換えを行う手法