softmax関数計算の高速化

• 語彙数が多くなると，softmax関数の分母計算が非常に時間がかかってしまう

重点サンプリング

NCE: noise contrastive estimation

• 副次的に自己正規化の特徴をもっている

負例サンプリング

• NCEを単純化させた手法
• 実装が単純で早い

ブラックアウト

HSM: 階層的softmax

参考文献

• 深層学習による自然言語処理 (機械学習プロフェッショナルシリーズ)
  • 4.3節 「出力層の高速化」