CW
- CWはこれまでの重みを考慮して更新する
- 具体的には，重みベクトル$\bold{w}$を生成する正規分布$\bold{w} \sim N (boldsymbol{\mu}, \bold{\Sigma})$を考える
- 重み平均値ベクトル$\bold{\mu} \in R^m$
- 共分散行列: $\bold{\Sigma} \in R^{m \times m}$
- アイデア
- PAと同様に，更新時に現在の重みの分布と（KLダイバージェンスが）近い重みの分布を探す
- 学習データを確率$\eta$未満でしか間違えないように更新する ($0.5<\eta\leq 1$)
更新式
- 以下の更新則
- $(\mu^{(t+1}, \Sigma^{(t+1)}) = \arg \max_{\mu, \Sigma} D_{KL} \left( N(\mu,\Sigma) || N(\mu^{(t)}, \Sigma^{(t)}) \right)$
- subject to $P_{\bold{w} \sim N(\mu, \Sigma)} (y^{(t)}, \bold{w} \cdot \bold{x}^{(t)} \leq 0) \leq \eta$
- 詳細はオンライン機械学習本の4.1.4(p.72)を参照
問題点
- ノイズに弱い
- 更新時に，現在のデータを必ず正しく分類できるようにするため