CW

• CWはこれまでの重みを考慮して更新する
• 具体的には，重みベクトル$\bold{w}$を生成する正規分布$\bold{w} \sim N (boldsymbol{\mu}, \bold{\Sigma})$を考える
  • 重み平均値ベクトル$\bold{\mu} \in R^m$
  • 共分散行列: $\bold{\Sigma} \in R^{m \times m}$
• アイデア
  • PAと同様に，更新時に現在の重みの分布と（KLダイバージェンスが）近い重みの分布を探す
  • 学習データを確率$\eta$未満でしか間違えないように更新する ($0.5<\eta\leq 1$)

更新式

• 以下の更新則
  • $(\mu^{(t+1}, \Sigma^{(t+1)}) = \arg \max_{\mu, \Sigma} D_{KL} \left( N(\mu,\Sigma) || N(\mu^{(t)}, \Sigma^{(t)}) \right)$
  • subject to $P_{\bold{w} \sim N(\mu, \Sigma)} (y^{(t)}, \bold{w} \cdot \bold{x}^{(t)} \leq 0) \leq \eta$
• 詳細はオンライン機械学習本の4.1.4(p.72)を参照

問題点

• ノイズに弱い
  • 更新時に，現在のデータを必ず正しく分類できるようにするため