【機械学習】Yahoo Newsの記事をMLlibのトピックモデル(LDA)でクラスタリングする。 - Qiita

Sparkシリーズ第３弾の記事です。MLlibのLDAを使ってYahoo Newsの記事をトピックモデル(LDA:Latent Dirichlet allocation)でクラスタリングしてみます。 第一弾 【機械学習】iPython NotebookでSparkを起動させてMLlibを試す http://qiita.com/kenmatsu4/items/00ad151e857d546a97c3 第二弾 【機械学習】Spark MLlibをPythonで動かしてレコメンデーションしてみる http://qiita.com/kenmatsu4/items/42fa2f17865f7914688d 0. 環境 OS: Mac OSX Yosemite 10.10.3 Spark: spark-1.5.0-bin-hadoop2.6 Python: 2.7.10 |Anaconda 2.2.0

[fufufukakaka]

LDAではトピック数を決定する必要がありますが、Baysian Nonparametricsによってトピック数を最適化する拡張モデルもあります。ライブラリとして利用できるかどうかは分かんないけど。→ http://www.cs.berkeley.edu/~jordan/papers/hdp.pdf /

[ericap]

LDAではトピック数を決定する必要がありますが、Baysian Nonparametricsによってトピック数を最適化する拡張モデルもあります。ライブラリとして利用できるかどうかは分かんないけど。