Lucene/JapaneseAnalyser/Sen、辞書にすごく長い単語が含まれてるとその単語を含んだドキュメントを追加する際にIndexOutOfBoundsExceptionで失敗する - <s>gnarl,</s>技術メモ”’<marquee><textarea>￥
環境:sen 1.2.2.1 IndexOutOfBoundsExceptionって明らかにバグやんけ。 エラーメッセージ java.lang.RuntimeException: java.lang.IndexOutOfBoundsException at net.java.sen.Dictionary.getPosInfo(Dictionary.java:149) at net.java.sen.Viterbi.analyze(Viterbi.java:134) at net.java.sen.StringTagger.analyze(StringTagger.java:180) at net.java.sen.StreamTagger.hasNext(StreamTagger.java:109) at org.apache.lucene.analysis.ja.sen.SenToken
Java,Senでnaist-dicを使う - <s>gnarl,</s>技術メモ”’<marquee><textarea>￥
用意するもの mecab用naist-dic sen naist-dicのnaist-jdic.csvをsenのdicディレクトリに入れとく(EUC-JPなので文字コード変換が必要ならしとく)。 デフォルトのdic.csvじゃなくこっちを利用するようにするためbuild.xml修正。 < !-- Comment out if you would like to add your custom dictionary. Custom dictionary format have to compatibule with 'dic.csv'. This parameter is a file path for custom dictionary. You can add multiple dictionary here like "custom_dic1.csv custom_dic2.csv..
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
