softmax関数計算の高速化

  • 語彙数が多くなると，softmax関数の分母計算が非常に時間がかかってしまう

重点サンプリング

NCE: noise contrastive estimation

  • 副次的に自己正規化の特徴をもっている

負例サンプリング

  • NCEを単純化させた手法
  • 実装が単純で早い

ブラックアウト

HSM: 階層的softmax

参考文献