Pythonで単語分散表現のクラスタリング - Ahogrammer

最近の自然言語処理では、単語の分散表現は当たり前のように使われています。 単語分散表現では、各単語が高次元ベクトル空間に配置され、加減乗除等の演算を行えるようになります。 これらのベクトルは、意味の近い単語に対しては同じようなベクトルになることがわかっています。 本記事では、単語分散表現のベクトルをクラスタリングし、意味が近い単語のクラスタを作ってみたいと思います。 これらのクラスタは、眺めて楽しむだけでなく、機械学習の素性として使うこともできます。 イメージ的には、以下のような感じで単語をクラスタにまとめます。 では、単語分散表現をクラスタリングして、単語のクラスタを作ってみましょう。 準備 まずは、作業用のディレクトリを作成しておきましょう。 また、必要に応じて Python の仮想環境も用意します。 以下のコマンドを実行することで、ディレクトリを用意します。 $ mkdir work

[anony3masuda]

From: Pocekt@phase Tags:

[teddy-g]

単語分散表現は色々とやってみたいがなかなか時間が取れない

[toyama0919]

scikit-learnとword2vecでで自然言語のクラスタリングか。word2vecだけでもクラスタリングと言うか、2次元空間の写像は出来るんだけどな。

[taichitary]

これいけるんやな

[makoto15]

[