Gensim: topic modelling for humans
✔ Train large-scale semantic NLP models ✔ Represent text as semantic vectors ✔ Find semantically related documents from gensim import corpora, models, similarities, downloader # Stream a training corpus directly from S3. corpus = corpora.MmCorpus("s3://path/to/corpus") # Train Latent Semantic Indexing with 200D vectors. lsi = models.LsiModel(corpus, num_topics=200) # Convert another corpus t
「Gensim」による機械学習を使った自然言語分析の基本――「NLTK」「潜在的ディリクレ配分法（LDA）」「Word2vec」とは
「Gensim」による機械学習を使った自然言語分析の基本――「NLTK」「潜在的ディリクレ配分法（LDA）」「Word2vec」とは：Pythonで始める機械学習入門（9）（1/2 ページ） 最近流行の機械学習／Deep Learningを試してみたいという人のために、Pythonを使った機械学習について主要なライブラリ／ツールの使い方を中心に解説する連載。今回は機械学習を使った自然言語分析のライブラリ「Gensim」について解説します。 プログラミング言語「Python」は機械学習の分野で広く使われており、最近の機械学習／Deep Learningの流行により使う人が増えているかと思います。一方で、「機械学習に興味を持ったので自分でも試してみたいけど、どこから手を付けていいのか」という話もよく聞きます。本連載「Pythonで始める機械学習入門」では、そのような人をターゲットに、Pytho
確率モデルにおけるグラフィカルモデル表現とかプレートノーテーションについて 適当でテキトーなブログ
1.はじめに LDAやHMMをはじめとする言語モデル（生成モデル）に関する文献でよく下のような図を見る． これを初めて見た人は「なんぞ？」となる人が多いと思う．かくいう私もその一人だった．（私の場合はもっと複雑な図だった．）しかしながら，業界一般的な表現方法のためか論文にはこの図の見方には一切書かれていないことがある．なので研究し始めた人はこの図を見た時点で挫折してしまう．ありがたい事に今はわかりやすい参考書があるのでこれらを読めば，なんとなくこの表記の意味がわかると思う．しかし日本語でこの手の事を詳しく説明したwebページはなかったので，自分なりにまとめてみることにした． 2.グラフィカルモデルとプレートノーテーションについて まず，多くの文献にて上のような図のことをグラフィカルモデル（表現）と述べている．ところが，実際に「グラフィカルモデル」に関してこの本やWikiページ等で調べてみて
LDA の Collapsed Gibbs サンプリングの全条件付分布を導出してみる - 木曜不足
Latent Dirichlet Allocations(LDA) の実装について - 木曜不足 にも出てくるこの式 を導出してみる。 この式は LDA の Collapsed Gibbs sampling で使う全条件付分布(full conditional)。 もし普通のギブスサンプリングだったら、観測されていない全ての確率変数、つまり Z だけではなくθやφについても同様に全条件付分布を構成して、そこからサンプリングを繰り返すことが必要になる。*1 そこで、θとφについては積分消去してしまうことで、Z だけをサンプリングすればよいようにしたのが Collapsed Gibbs sampling。"collapsed" は積分消去して「つぶした」ということと、素の Gibbs sampling から「崩した」ということと、両方かかっているんだろうか？ 導出に必要な道具は次の2つ。 ガン
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://www.jstage.jst.go.jp/article/tjsai/31/6/31_AI30-C/_pdf
