MEMM

• Maximum Entropy Markov Model (MEMM)
  • $P({\bold y} | {\bold x})$をモデル化する識別モデル
  • HMMでは同時に起こる素性の定義が困難だったがが，MEMMは素性を自由に定義できる
  • $P({\bold y} | {\bold x} ) = \prod_i P(y_i | {\bold x}, t)$
  • アイデア
    • 最大エントロピーモデルの順次適用
    • 元の系列ラベリング問題を個々のラベルを付与するという部分問題に分割
    • 個々のラベリング確率の積を全体のラベリングに対する確率と近似

問題点

• label bias
  • 「確率の積」なので分岐の少ない経路が有利
  • 「全体としての確からしさ」が考慮されてない
• length bias

参考文献

• Sequential Tagging メモ