Kuromoji(ピュアJavaでナイスなライセンスの形態素解析エンジン)を試してみる
職場の人の繋がりでお声がけいただいて、Kuromojiという形態素解析エンジンを紹介していただきました。 ■ Kuromoji ATILIKAという某検索エンジン会社に勤めていた人の会社で作っている ApacheライセンスなピュアJavaな形態素解析エンジンです。 Javaって言う事でMavenでホゲホゲできるそうです。 http://atilika.org/こちらで紹介されています。 ＃黒文字ってのは植物の名前で、そっからできたつまようじの事を言うんだそうで、 ＃これがモチーフになんだよーと見せていただきましたｗ ■ 形態素解析 / N-Gram 形態素解析とN-Gram〜とかコレ系だとよくある感じですが、その辺のサポートもされてます。 ＃詳しい話を聞かせてもらったのですが、そもそもの知識不足と英語力不足でイマイチ…orz ■ 辞書 IPAのヤツがベースになっていて、拡張する事も出来ます
SenよりGoSenの方が遅い？ - kaisehのブログ
形態素解析エンジンSenを改良したGoSenというライブラリがあります。 Significantly improved text analysis speed http://itadaki.org/wiki/index.php/GoSen と書いてあるので、どの程度速くなったのかなと思ってSenと比べてみたんですが、逆にSenより遅いという不思議な結果になりました。 GoSenの計測方法 SVNリポジトリから最新版をチェックアウト /testdata/dictionaryでantを実行し、辞書ファイルを作成 GoSen付属のbenchmark.SenBenchを実行 Senの計測方法 sen-1.2.2.1.zipをダウンロード /dicでantを実行し、辞書ファイルを作成 上記のbenchmark.SenBenchをSen向けに一部書き換えて実行 実行環境はIntel iMac 2GHz
sen: Home
Sen is the first opensource morphological analyzer written in pure Java. You can use sen for any NLP purpose such as automatic translate, search engine, Japanese education, AI, dialect converter, or analyze 2ch's threads. Sen is pronounced "chi hi ro". You must call "chi hi ro" even if you hava a important meeting with exective.
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Javaで作られた形態素解析ライブラリ「Sen」からPerl依存性を排除した「GoSen」
