Lucene/JapaneseAnalyser/Sen、辞書にすごく長い単語が含まれてるとその単語を含んだドキュメントを追加する際にIndexOutOfBoundsExceptionで失敗する - <s>gnarl,</s>技術メモ”’<marquee><textarea>￥環境:sen 1.2.2.1 IndexOutOfBoundsExceptionって明らかにバグやんけ。 エラーメッセージ java.lang.RuntimeException: java.lang.IndexOutOfBoundsException at net.java.sen.Dictionary.getPosInfo(Dictionary.java:149) at net.java.sen.Viterbi.analyze(Viterbi.java:134) at net.java.sen.StringTagger.analyze(StringTagger.java:180) at net.java.sen.StreamTagger.hasNext(StreamTagger.java:109) at org.apache.lucene.analysis.ja.sen.SenToken
Javaで作られた形態素解析ライブラリ「Sen」からPerl依存性を排除した「GoSen」
