ガウス埋め込みによる「意味の広がり」を捉える単語埋め込み - Qiita

本記事はQiitaの機械学習の数理 Advent Calendar 2018の8日目の記事です． 単語の「意味の広がり」を捉えられる単語埋め込み手法であるガウス埋め込みについて紹介します． だいたいこの論文の説明です． はじめに もはやNLPの必須ツールとなったword2vec，というかSkipgramに代表される単語分散表現ですが，単語の意味のモデル化という意味ではいくつかの問題点もあります． そのうちの一つが，「1つの単語に1つのベクトルを割り当てる」点推定になっており「単語の意味の広がりを捉えられない」という点です． 例えば下図に示すように， Bach $\in$ composer $\in$ man manは非常に広い意味をもつ composerはもう少し狭い Bachは人名なのでよりspecificな意味 といった単語同士の意味の重なりや包含関係をembeddingの空間上で分析