【非専門家向け】word2vec - chiVe / chiTra 利活用に向けて Part2. - Qiita

chiVe, chiTra の利用を考えているが、そもそも単語分散表現や事前学習済みモデルとは？という方向けに、単語分散表現や事前学習モデルのイメージをつけていただくシリーズのPart2です。 Part1で、計算機で単語の "意味" を扱うイメージをつけるために、one-hotベクトル と 共起頻度行列 を取り上げました。 共起頻度行列によって単語の "意味" を捉えられそうだが、語彙数分の次元が必要になるなど実利用の上では課題がありそうだというお話をしました。 Part2では、chiVe が利用している word2vec を取り上げます。 Part1：単語の "意味" を計算機で扱うイメージをつける Part3：BERT word2vec word2vecは2013年にMikolovらによって提案されました（元論文：Efficient Estimation of Word Represe