[自然言語処理/NLP] Word2Vec触ったので備忘録としてざっくりまとめておく (理論編) | DevelopersIO

こんにちは、Mr.Moです。 最近Word2Vecに触れる機会があったので備忘録の意味も込めて自分なりにまとめておこうと思います。 Word2Vecとは 簡単にまとめると下記です。 > Word2vecでは、2層のニューラルネットワーク構造を用いて大量のテキストデータのコーパスに対し単語の分散表現を生成して各単語の特徴を数百次元のベクトル空間で表現する。このベクトル空間ではコーパスにおける共通のコンテキストを共有している単語を類似しているとして、ベクトル空間上で近い位置になるよう各単語にベクトルの割り当てを行う。 上記により何が嬉しいかという所ですが、単語の意味を捉えられているかのような結果が得られる点です。例えば有名な話ですが下記のような演算を行うこともできてしまいます。 上記図が少し分かりやすいのですが、左図のように単語の意味的な情報を踏まえた関係性をベクトルの方向で表現しており、右図