『ゼロから作るDeep Learning❷』2.4 カウントベースの手法の改善 資料 - Qiita

本節の概要 分散表現を改善する 正の相互情報量(PPMI)を使う（難易度：中） 次元削減のために特異値分解(SVD)を使う（難易度：高） もっと大きなデータに適用してみる（計算時間：大） 分散表現の改善 そもそも、なんで共起行列を作ったか？→単語の分散表現のため その意味では、単語の共起行列は「単語の（ある種の）分散表現」といえる とはいえ、ただの共起行列では微妙なので、改良する 2.4.1 相互情報量 微妙な点その１：高頻度な単語を適切に扱えない 「the」「car」「drive」では、「car」と「drive」の関連性が高そうだが、「the」と「car」の関連の方が強く出る そもそも「the」はたくさん出現するため共起することが多い でも、出現回数が小さいのに共起する方が重要では？ それを考慮する指標として、「相互情報量」を使う 自己相互情報量 相互情報量(Pointwise Mutu