kerasでword2vecを構築 - Qiita

目標 word2vecをgensimのword2vecを使わずにkerasで実装する。 word2vecの概要 word2vecとはニューラルネットワークを使用して単語を分散表現にする方法である。 分散表現とはベクトル化することである。単語は今までBagOfWordで扱われることが多い。ベクトル化することで、単語間の距離を測ることができる。つまり単語間の類似度を知ることができる。 この類似度というのは意味的な類似度を表している。なぜかというと、分散表現にする際に、「わたしは〇〇に行きたい。」といった文があった時に、〇〇に入る言葉はそれぞれ意味が近いという仮定を置いているからである。この仮定のおかげで、教師なしデータでも学習ができるようになっている。この仮定はあっているかもしれないが、もっと良い仮定を思いつけばより良い分散表現が得られそう。 word2vecの理論 word2vecを実装する