word2vec の各種実装の速度比較 | カメリオ開発者ブログ
word2vec_cbow はさすがに GPU を使うだけあって元になった word2vec に比べて3倍以上高速になっています。 chainer は GPU を使うとだいぶマシになりますが、それでもかなり遅いです。ただ、 improve-word2vec ブランチの実装では、 Chainer 1.5 のものと比べて速度が1.5倍程度に改善されています（ここには示していませんが、条件によっては2倍以上の性能が出ることもありました）。残念ながらまだマージされていませんが、次のバージョンにはぜひ入ってほしいですね。 まとめ この結果を見る限り、速度に関する比較だけで言えば word2vec か gensim のどちらかを使っておけば良さそうです。 word2vec_cbow は速いですが、 GPU が必要なので動かせる環境が限定されてしまいます。逆にどうしても高速化したい場合には良い選択肢だと
論文紹介「Distributed Representations of Words and Phrases and their Compositionality」 - Qiita
論文紹介「Distributed Representations of Words and Phrases and their Compositionality」機械学習word2vec word2vecに関してのもっと詳しい話。 Skip-gram Skip-gramについてもうちょっと詳しく。入力ベクトルを元に出力ベクトルを決めるのは、Softmax関数を使うんだけど、この分母の計算が素直にやると語彙オーダーで重たい。階層的SoftmaxとNagetive Samplingの2つの方法が紹介されている。 階層的Softmaxだと語彙の対数オーダーに減る。これは最初に単語をハフマン符号にしておいて、符号の各位置のビットを見て一致するかどうかを教師データにしてビットの数だけ学習を繰り返す手法。ビットはword2vecの実装では40個になってる。各単語ごとに40回学習するのは効率が悪いと感じ
米googleの研究者が開発したWord2Vecで自然言語処理(独自データ) - Qiita
「Word2Vec」は、米グーグルの研究者であるトマス・ミコロフ氏らが提案した手法であり、いくつかの問題について従来のアルゴリズムよりも飛躍的な精度向上を可能にした自然言語処理の手法。 Word2Vecは、その名前の表す通り、単語をベクトル化して表現するする定量化手法である。例えば日本人が日常的に使う語彙数は数万から数十万といわれるが、Word2Vecでは各単語を200次元くらいの空間内におけるベクトルとして表現する。 その結果、今まで分からなかったり精度を向上するのが難しかった単語同士の類似度や、単語間での加算・減算などができるようになり、単語の「意味」を捉えられるようになった。 というわけで、かなり興味深いないようなので、早速実践してみることにします。 1.環境構築 subversionを使ってWord2Vecのソースコードをcheckoutする。 mkdir ~/word2vec_t
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Deeplearning 4 j のクイックスタートガイド - Deeplearning4j: Open-source, Distributed Deep Learning for the JVM
