【まとめ】自然言語処理における単語分散表現（単語ベクトル）と文書分散表現（文書ベクトル） - Qiita

自分のメモ代わりに作ったので間違いがあるかもしれません。また、説明が雑な部分もあります。 歴史が分かるように各手法が提案、公開された年も記載しています（※CNN、RNNは理論が発表された年にしています）。 2013年にGoogleのMikolovさん達がWord2Vecを提案して一躍有名に。 「王様」ー「男性」＋「女性」=「お姫様」 のように単語の足し算、引き算ができるという画期的な成果を残した。 最初（2013〜2017年頃）は文脈依存なしの分散表現しかなかった。 文脈依存なしの欠点（※後述）を克服するという観点で、2017年以降文脈依存ありの手法が提案され始めた。 文脈依存なし Word2Vec（2013年） 一番有名。Googleの研究者たちが提案。 日本語モデルは東北大学や企業が公開済み。 http://www.cl.ecei.tohoku.ac.jp/~m-suzuki/jawi