Lucene/JapaneseAnalyser/Sen、辞書にすごく長い単語が含まれてるとその単語を含んだドキュメントを追加する際にIndexOutOfBoundsExceptionで失敗する - <s>gnarl,</s>技術メモ”’<marquee><textarea>￥
環境:sen 1.2.2.1 IndexOutOfBoundsExceptionって明らかにバグやんけ。 エラーメッセージ java.lang.RuntimeException: java.lang.IndexOutOfBoundsException at net.java.sen.Dictionary.getPosInfo(Dictionary.java:149) at net.java.sen.Viterbi.analyze(Viterbi.java:134) at net.java.sen.StringTagger.analyze(StringTagger.java:180) at net.java.sen.StreamTagger.hasNext(StreamTagger.java:109) at org.apache.lucene.analysis.ja.sen.SenToken
Tutorial Web page
チュートリアル資料 茶器関連のチュートリアルの資料置場です。 2009-09-30,2009-10-01「自然言語処理技術」講習会 実施内容 2009-09-30 『Mecab/CaboChaを用いた形態素解析・係り受け解析』 『「茶器」によるコーパス管理・検索』 松本裕治、岩立将和、工藤拓 講習会資料 2009-09-30.zip zip ファイル 2009-09-30/ ディレクトリ（2009-09-30.zipの個別のファイルが見られます） 2008-09-08,09,10「自然言語処理技術」講習会 実施内容 2008-09-09 『「茶器」によるコーパス管理・検索』 岩立将和 講習会資料 2008-09-09.zip zip ファイル 2008-09-09/ ディレクトリ（個別のファイ ルが見られます） 2007-09-03,04,05「自然言語処理技術」講習会 実施内容 2007
形態素解析辞書 UniDic
人気デベロッパー Play’N Go は、2017年にユニークなスロットを発売しました ムーンプリンセス. オンライン スロットゲーム ムーンプリンセス このゲームは、そのユニークなオプション、シンプルな操作性、アニメをモチーフにしたカラフルなグラフィックにより、瞬く間にプレイヤーから人気を集めました。 スロットマシンの ムーンプリンセス は、漫画『美少女戦士セーラームーン』のテーマを明らかにする。第1巻は1992年に発売され、現在も人気があります。を可能にします MoonPrincess は、長年にわたり最高のスロットのリストをリードし、プレイヤーに寛大な配当だけを提供し、ゲームプレイへの関心を保証します。 すべてのシンボルが雰囲気を強調する オンライン スロットゲーム ムーンプリンセス, 心地よいサウンドトラックがゲームプレイを引き立て、音楽をパーソナライズできるため、ユーザーはスロッ
KH Coder: 計量テキスト分析・テキストマイニングのためのフリーソフトウェア
概要と特長 KH Coderとは、計量テキスト分析またはテキストマイニングのための自由ソフトウェアです。 アンケートの自由記述・インタビュー記録・新聞記事など、さまざまなテキストの分析にお使いいただけます。 プログラミング不要、マウス操作で本格的な分析 安心の分析プロセス完全公開、研究利用も多数 New! 機能紹介（スクリーンショット） スクリーンショット集 ［旧ページ：言葉・文書・可視化・他］ KH Coder 3 正式版の新機能 New! 機能追加プラグイン「文錦®」シリーズ New! ダウンロードと使い方 KH Coder 3 正式版ダウンロード (Version 3.02) 使い方を知るためのチュートリアル ヘルプ 質問＆エラー報告用の掲示板 ※投稿にはGitHubへの登録が必要（無料）［旧掲示板］ よくある質問（FAQ） 開発者が語る公式セミナー & サポート：㈱SCREEN A
[を] ChaSenで半角文字列を文字に区切らないようにする
ChaSenで半角文字列を文字に区切らないようにする 2006-02-25-3 [Tips] 茶筌ネタ。 半角アルファベット・数字を文字単位に区切らないようにするには？ デフォルトだとこうなってしまいます： % chasen 第26回Wiki小話 第 ダイ 第 接頭詞-数接続 2 ニ 2 名詞-数 6 ロク 6 名詞-数 回 カイ 回 名詞-接尾-助数詞 W ダブリュー W 記号-アルファベット i アイ i 記号-アルファベット k ケイ k 記号-アルファベット i アイ i 記号-アルファベット 小話 コバナシ 小話 名詞-一般 EOS そこで chasenrc を ~/.chasenrc にコピーして、 ;(COMPOSIT_POS ((名詞 数)) ; ((記号 アルファベット))) のコメント（行頭のセミコロン）を取ります。 するとアルフ
83's : MeCab用、2ちゃんねる辞書
MeCab用、2ちゃんねる辞書 September 11, 2005 18:31:47 Comments (0) Trackbacks (1) プログラミング かな漢字変換用の2ちゃんねる辞書を 元に、MeCab用の辞書を作った。 （ ・∀・）つ[2ch.dic.2005-09-11-22-47] 辞書の追加の仕方はMeCabのサイトの辞書の追加方法のページを 見て下さい。 なんかあんまり正確でないんで、動詞・形容詞・接続詞の中で変だったやつは消しました。 それでもまだまだ変な定義されてる語が多い……。 あとコストが今んとこ3206で一律なんだけど、どうなんだろう。 $ mecab こんなスレageるなよ厨房 こんな 連体詞,*,*,*,*,*,こんな,コンナ,コンナ スレ 名詞,一般,*,*,*,*,スレ,スレ,スレ ageる 動詞,自立,*,*,一段,基本形,ageる,アゲル,アゲル
形態素解析ツールの品詞体系
ChaSen 品詞体系 (IPA品詞体系) ChaSen の品詞体系は任意の階層化を許している。 いわゆる形容動詞は名詞の形容動詞語幹として含まれ、 形容詞には含まれない。Juman の指示詞という カテゴリは「連体詞」に含まれている。 判定詞「だ」は助動詞とされている。 Type1 Type2 Type3 Type4 Examples Description
専門用語（キーワード）自動抽出用Perlモジュール "TermExtract"の解説
はじめに テキストデータから、専門用語を取り出すためのPerlモジュール"TermExtract"を解 説します。 日本語の文章中から単語を切り出す定番のソフトとして、「茶筅」や「案山子」があ りますが、そのまま専門用語の抽出に使うには次の２つの問題があります。 ひとつは、複合語に対応していないことです。専門用語の多くは単語を組み合わせて、 複雑な概念を表すことが多くなります。特に「茶筅」の場合は単語を品詞単位で細かく 分割するため、そのまま使うには難があります。 もうひとつは、どの用語が重要であるか判断する仕組みを持たないことです。 その問題点を解決したソフトに東京大学・中川裕志教授、横浜国立大学・ 森辰則助教授が作成した「専門用語自動抽出システム」があります。 それは、１）「茶筅」の形態素解析結果を複合語に組み立て、２）その複合語（単語の場 合もある）を重要度の高い順に返すものです。
【コラム】Yet Another 仕事のツール (45) 日本語形態素解析ツール「ChaSen」 | エンタープライズ | マイコミジャーナル
ITの世界は理系の人間が幅をきかせていると思われがちだが、システムインテグレーションの現場では、意外と文系的な素養が求められることも多い…… などという無理なこじつけはさておき、今回は「日本語」を扱う上で欠かせないツールを紹介しよう。 以前、「MUSASHI」というオープンソースのツールを使って「データマイニング」の基本的な手法を紹介したことがあったが、データはなにもデータベースやXMLとして整理されたものばかりではない。むしろ日本語なら日本語という自然言語で記述されたデータの方が、量的には圧倒的に多いはずだ。例えば、顧客や同僚と毎日のようにやりとりしているメールなどは、データとしてみれば宝の山だし、実際昔のメールを消せずにずっと残しているという人も多いだろう。ただ、日々増え続けていくメールを溜まるがままにしておいても、せいぜいメールソフトの検索機能を使って備忘録にするぐらいしか有効な使い
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Javaで作られた形態素解析ライブラリ「Sen」からPerl依存性を排除した「GoSen」
http://icrouton.as.wakwak.ne.jp/pub/kks/cnamazu.html
できれば専門の研究者のかたの回答が欲しいです。…
『表記統合辞書』 - 総合