はじめての word2vec with Spark - Qiita

この記事は， Spark, SQL on Hadoop etc. Advent Calendar 2014 - Qiita の 12 月６日のための記事です． 今回の記事では，最近話題になっている word2vec の Apache Spark 実装を EC2 上で動かす方法について解説します． word2vec とは？ 自然言語処理に新風を巻き起こしたWord2Vecとは何か - 日経BigData の説明を拝借すると，word2vec とはつぎのような説明になります Word2Vecは、その名前の表す通り、単語をベクトル化して表現するする定量化手法である。例えば日本人が日常的に使う語彙数は数万から数十万といわれるが、Word2Vecでは各単語を200次元くらいの空間内におけるベクトルとして表現する。 それぞれの単語を200個の要素の組み合わせとして表現するため、このような手法は「分散表

[kasumani]

はじめての word2vec with Spark この記事は， Spark, SQL on Hadoop etc. Tags: feedly, ifttt, recently read, saved for later from Pocket December 18, 2014 at 12:10AM via IFTTT