[B! gensim] um-mttのブックマーク

gensimを使ったwikipediaのコーパス作成

※すごく重要な注意点※ 上記の記事では最新版のnumpy, scipy, gensimをインストールしていますが、日本語版wikipediaのコーパス作成にはgensim0.7.8を使う必要があります。日本語版wikipediaのコーパス作成に他の人が作ってくださったpythonスクリプトを利用するのですが、そのスクリプトがgensim0.7.8にしか対応していないためです。 numpy, scipy, gensimは、最後にインストールしたバージョンが使われるっぽいです。本記事では、英語版wikipediaのコーパス作成にはgensim0.8.6(最新版)、日本語版wikipediaのコーパス作成にはgensim0.7.8を利用しています。 gensim0.8.6を使って英語版wikipediaのコーパスを作成するツイッターに対してLDAを適用するにしても事前の知識がなさすぎて色々

um-mtt 2014/11/14

リンク

論文紹介 “Representing Topics Using Images” (NAACL 2013) - 唯物是真 @Scaled_Wurm

“Representing Topics Using Images", Nikolaos Aletras and Mark Stevenson 研究室で論文紹介したので適当に以下に資料を貼っておく。論文を読んだ後で気づいたけど、NAACL 2013はまだやっていないので、preprintバージョン(？)っぽい。何故か研究室での論文紹介は、資料が英語で口頭説明が日本語なので、以下では日本語の説明を加えておいた。英語が間違っている部分があると思いますが、コメントで指摘なりスルーするなりしてください。スライドはこうした方がいいとかもあったらぜひ。後から読むと説明の流れが変かな？ってところもありますね。論文中の図表ってどの程度載せていいんでしょうか……？やっぱりまったく載せないほうがいいんですかね。論文紹介概要自然言語処理ではトピックモデルというものがよく用いられている。トピ

um-mtt 2014/11/14

リンク

Python用のトピックモデルのライブラリgensim の使い方(主に日本語のテキストの読み込み) - 唯物是真 @Scaled_Wurm

gensimは前に以下の記事でも使ったPython用のトピックモデルなどの機能があるライブラリです。小説家になろうのランキングをトピックモデルで解析(gensim) - 唯物是真 @Scaled_Wurm 以前紹介した以下の論文でもgensimが使われていました論文紹介 “Representing Topics Using Images” (NAACL 2013) - 唯物是真 @Scaled_Wurm deep learningで話題になったword2vecの機能も取り入れてたりして面白いライブラリです Radim Řehůřek : Deep learning with word2vec and gensim 入力の作り方がすこしわかりにくいかなぁと思ったので、メモっておきます。コーパスの作り方以下の公式の例で説明しますこの例ではリスト内のそれぞれの要素が1つの文書となります

um-mtt 2014/11/14

リンク

PythonでBag of WordsとSVMを使ったタイトルのカテゴリ分類 - stMind

cc licensed ( BY ) flickr photo shared by Loco Steve 週末に試そうのコーナー。ちょうど良いチュートリアルがあったので、データセットを用意してやってみました。問題 How can I get a computer to tell me what an article is about (provided methods such as bribery and asking politely do not work)? ある記事が何について書かれているのか、コンピュータに理解させるにはどうすれば良いか? チュートリアルでは手動で作ったデータを使って犬もしくはサンドイッチの2クラス分類をしています。ここでは、Google NewsでiPadのニュース、ソチ五輪のニュースとカテゴリ分けされている記事のタイトルを使って、あるタイトルがiPa