ロジスティク回帰

  • 2クラス(+1, -1)に対して確率値を出す
    • $P(y| {\bold x}) = \sigma (y {{\bold w}}^T {{\bold x}})$
    • $y=+1$: $\sigma$
    • $y=-1$: $1- \sigma$
  • 標準シグモイド関数:
    • $\sigma(x) = \frac{1}{1+\exp(-x)}$
    • $\sigma: (-\infty, \infty) \to (0, 1)$
    • $\sigma(0) = -0.5$

目的関数

  • 全てのデータ$t=1, \ldots, N $に対して，以下の関数（尤度関数）の最大化が目的
    • $ \prod_t P(y^{(t)} | {\bold x^{(t)}}) = \prod \sigma (y^{(t)} {\bold w}^T {\bold x^{(t)}}) = \frac{1}{ 1+ \exp( -y^{(t)} {\bold w}^T {\bold x^{(t)}}) } $
  • 尤度関数の対数をとり，$-1$をかけて，これの最小化を行う
    • $ - \log \left( \prod_t P(y^{(t)} | {\bold x^{(t)}}) \right) = - \sum \log \left( \frac{1}{ 1+ \exp( -y^{(t)} {\bold w}^T {\bold x^{(t)}}) } \right) $
  • 実用には，適当な正規化項を足したものを，目的関数としたほうが良い
    • $ L( {\bold w } ) = - \sum \log \left( \frac{1}{ 1+ \exp( -y^{(t)} {\bold w}^T {\bold x^{(t)}}) } \right) + C || {\bold w} ||^2 $