はてなブックマーク

最近Luceneを使ってみている。Luceneを使って実験用のブログ検索エンジン（ぽいもの）を作っているが、とにかくインデクシングが遅い。Nutchでは、Luceneのインデックスをいくつものマシンに作成して、インデクシング/検索共に分散してやることが推奨されているようだが、残念ながら常時占有できるマシンがたくさんあったりはしない。 Luceneの本によれば、マルチスレッドでメモリ上にインデックスを作成して、あとでまとめて1つのインデックスをファイルシステム上に作るというのが、Luceneのインデクシングを高速化する常套手段らしい。しかし、それで高速化できるのは最大でも（インデックスのマージにかかる時間が0としても）1つのマシン上のCPU数だけで、大幅な高速化はできない。 そこで、複数のマシンでメモリ上にできるだけ大きな（メモリぎりぎりの）インデックスを作成し、それをファイルに書き出してネ

Wekaというものを使ってみた。存在は1年以上前から知っていたが、機械学習アルゴリズムのJavaによる「ライブラリ」だと思っていた。しばらくの間研究に必要なプログラムをC++またはRubyで書いていたので、Wekaに目を向けることはなかった。 いまBlog関連でやっている研究で、ある問題に文書分類アルゴリズムを使ってみようと思った。今回のテーマでは研究用プログラムをJavaで書いてみていて（書くの楽ちんだしね！）、C++のときに使っていたTinySVMや自作のNaiveBayes, AdaBoostライブラリの代わりになるものとして自然とWekaに目がいった。 Wekaをダウンロードして、ホームページに目を通すと、単なるライブラリではないことが分かる。たくさんの機械学習アルゴリズムが実装されており、それぞれのアルゴリズムは必要なパラメータを設定できるようになっている。さらに、たとえばスペー