テキスト解析を使ったシステム連携に。Webベースの形態素解析エンジン·Igo GAE MOONGIFT
Igo GAEはGoogle App Engine/Javaを使って形態素解析エンジンのIgoを動作させる。 [/s2If] Igo GAEはJava製/Google App Engine用のフリーウェア（ソースコードは公開されている）。日本語を解析するのに使われているのがいわゆる「形態素解析」だ。名詞や形容詞などに分割することによって、システムとの連携をしたり文書の意味を解析できるようになる。 メイン画面 方法は幾つか存在する。ローカルで行うならMeCabやKAKASI、ChaSenが有名だ。そしてWebサービスとして提供されているのがYahoo! Japanの日本語形態素解析Webサービスになる。Yahoo!同様、Webベースで独自のシステムを使いたいならばIgo GAEを使ってみよう。 Igo GAEはJava製の形態素解析エンジンであるIgoをGoogle App Engine上に
三分で作る日本語形態素解析 - Javaと情熱のあいだ
Javaで形態素解析をしようとおもったら、Senという解析システムが あるんですが、環境構築が結構面倒なのでほかに方法がないかな〜と 考えていたら、Yahoo!に形態素解析のAPIがあるみたいなので JDOMのサンプルにいいかもと思って、Javaでラッピングするサンプルを作る。 機能としては、文字列を渡すと形態素解析をして ListにBeanWordを詰めて返してくれるようにする。 Mapに詰めようかなと考えたけれど、要素の指定が面倒なので廃案に。 材料は commons-codec-1.3←URLエンコード用 jdom←XML解析用 MorphologicalAnalysis.java import java.net.URL; import java.util.ArrayList; import java.util.List; import org.apache.commons.code
Sen - 日本語形態素解析システム
Sen は Java で書かれた日本語形態素解析システム。 C++ で開発されている MeCab を Java に移植したもの。 辞書は MeCab、茶筌と同じIPAの辞書を利用。 Sen配布ページ 辞書の構築に Apache Ant が必要。 このページは Sen version 1.2.2.1 用である。 インストール Apache Antのインストール Sen は辞書を構築するのに Apache Ant というビルドツールを使う。 これをあらかじめインストールしておく必要がある。 Apache Ant のインストール Senのインストール パッケージはSen配布ページから sen-1.2.2.1.zip をダウンロードしておく(mirror)。以下では ~学籍番号/Desktop/ にダウンロードしたものとして話を進める。 展開 /usr/local に展開し、ディレクトリ名を se
テキスト処理にWekaを使う（その１：文書のトークン化とTFIDF重みづけ） - シリコンの谷のゾンビ
テキスト分類課題などでは，文書をTF-IDF重み付けしたbag-of-wordsで表現することが多い．これをベースラインにするため，さくっとこの処理をしたい．卒論やM1のときは，この処理をわざわざ手で書いたのだが，バグが出たら大変だし，なにより面倒くさい． 論文では，最近流行りのLuceneを使っている人もいるけれど，WekaのStringToWordVectorもなかなか高性能．TFIDF重みづけまでの処理をやってみる．Luceneの方が汎用性があるから便利そうなんだけれど，とりあえずテキスト分類課題に使いたいので． 前提知識 かなり自分用メモ（＋α）なので，説明不足な部分があります．あと，基本的にCUIベースで話を進めます．最後の方に気がついたのですが，GUIとずれがありますね．そこらへんは，まぁ，適当に． Wekaについては，日本語情報があるにはあるのですが最近更新されていないので，
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
