CW

  • CWはこれまでの重みを考慮して更新する
  • 具体的には,重みベクトル$\bold{w}$を生成する正規分布$\bold{w} \sim N (boldsymbol{\mu}, \bold{\Sigma})$を考える
    • 重み平均値ベクトル$\bold{\mu} \in R^m$
    • 共分散行列: $\bold{\Sigma} \in R^{m \times m}$
  • アイデア
    • PAと同様に,更新時に現在の重みの分布と(KLダイバージェンスが)近い重みの分布を探す
    • 学習データを確率$\eta$未満でしか間違えないように更新する ($0.5<\eta\leq 1$)

更新式

  • 以下の更新則
    • $(\mu^{(t+1}, \Sigma^{(t+1)}) = \arg \max_{\mu, \Sigma} D_{KL} \left( N(\mu,\Sigma) || N(\mu^{(t)}, \Sigma^{(t)}) \right)$
    • subject to $P_{\bold{w} \sim N(\mu, \Sigma)} (y^{(t)}, \bold{w} \cdot \bold{x}^{(t)} \leq 0) \leq \eta$
  • 詳細はオンライン機械学習本の4.1.4(p.72)を参照

問題点

  • ノイズに弱い
    • 更新時に,現在のデータを必ず正しく分類できるようにするため