gensimを使ったwikipediaのコーパス作成※すごく重要な注意点※ 上記の記事では最新版のnumpy, scipy, gensimをインストールしていますが、日本語版wikipediaのコーパス作成にはgensim0.7.8を使う必要があります。 日本語版wikipediaのコーパス作成に他の人が作ってくださったpythonスクリプトを利用するのですが、そのスクリプトがgensim0.7.8にしか対応していないためです。 numpy, scipy, gensimは、最後にインストールしたバージョンが使われるっぽいです。 本記事では、英語版wikipediaのコーパス作成にはgensim0.8.6(最新版)、日本語版wikipediaのコーパス作成にはgensim0.7.8を利用しています。 gensim0.8.6を使って英語版wikipediaのコーパスを作成する ツイッターに対してLDAを適用するにしても事前の知識がなさすぎて色々
