ロジスティク回帰

• 2クラス(+1, -1)に対して確率値を出す
  • $P(y| {\bold x}) = \sigma (y {{\bold w}}^T {{\bold x}})$
  • $y=+1$: $\sigma$
  • $y=-1$: $1- \sigma$
• 標準シグモイド関数:
  • $\sigma(x) = \frac{1}{1+\exp(-x)}$
  • $\sigma: (-\infty, \infty) \to (0, 1)$
  • $\sigma(0) = -0.5$

目的関数

• 全てのデータ$t=1, \ldots, N$に対して，以下の関数（尤度関数）の最大化が目的
  • $\prod_t P(y^{(t)} | {\bold x^{(t)}}) = \prod \sigma (y^{(t)} {\bold w}^T {\bold x^{(t)}}) = \frac{1}{ 1+ \exp( -y^{(t)} {\bold w}^T {\bold x^{(t)}}) }$
• 尤度関数の対数をとり，$-1$をかけて，これの最小化を行う
  • $- \log \left( \prod_t P(y^{(t)} | {\bold x^{(t)}}) \right) = - \sum \log \left( \frac{1}{ 1+ \exp( -y^{(t)} {\bold w}^T {\bold x^{(t)}}) } \right)$
• 実用には，適当な正規化項を足したものを，目的関数としたほうが良い
  • $L( {\bold w } ) = - \sum \log \left( \frac{1}{ 1+ \exp( -y^{(t)} {\bold w}^T {\bold x^{(t)}}) } \right) + C || {\bold w} ||^2$