EMアルゴリズム

概要

• 不完全データ（一部欠損）に対する，尤度最大化の枠組み

• 尤度関数$L(\theta ;x,z)$

  • $\theta$: パラメータ
  • $x$: 観測データ
  • $z$: 潜在データあるいは欠損値

• パラメータの最尤推定値は，観測データに対する周辺尤度最大化

• この最適化問題は解析的に解けない

• 繰り返しにより解を求める

繰り返し

• Eステップ
  • 現在推定されているパラメータの分布$\theta^{(t)}$の下で，尤度関数の条件付き確率$P(z|x)$に関する期待値を計算
  • Q関数とよび単調増加する
  • $Q (\theta | \theta^{(t)} ) = E_{Z|x,\theta^{(t)}} [ \log L(\theta ;x,z) ]$
• Mステップ
  • $\theta$を更新する
  • $\theta^{(t+1)} = argmax_\theta Q (\theta | \theta^{(t)} )$

例

K個のガウス分布の重ね合わせからなる混合ガウス分布 $p(\bold{x}) = \sum_{k=1}^{K} \pi_k N(\bold{x}| \mu, \sigma_k)$

• パラメータは平均$\mu_k$，分散$\sigma_k$，混合係数$\pi_k$
• 混合係数から潜在変数$\bold{z}$が導入できる$p(\bold{z}) = \Pi_{k=1}^{K} \pi_k^{z_k}$

EMアルゴリズムは次のようになる

1. パラメータを初期化し，対数尤度の初期値を計算
2. Eステップ: $\bold{z}$の条件付き確率を求める
3. Mステップ: パラメータを更新する

参考文献

• EMアルゴリズム -Wikipedia