$Id: dic-detail.html 161 2008-02-03 09:58:46Z taku-ku $; 概要 単語辞書の構造を理解することで, MeCab を汎用的なテキスト変換ツールとして利用することができます. 例えば, ひらがな to カタカナ変換, ローマ字 to ひらがな変換, Auto Link等を MeCab だけで実行できます ファイル 単語辞書を構築するには, 最低以下のファイルを作成する必要があります. *.csv ファイル (単語辞書) matrix.def (連接表) unk.def (未知語用品詞定義) char.def (未知語の文字定義) dicrc (設定ファイル) *.csv ファイル 単語辞書です エントリは, 以下のような CSV で追加します. test,1223,1223,6058,foo,bar,baz 最初の4つは必須エントリで,

いま、現場で求められているキャリアやスキルは、どんなものだろうか。本連載では、さまざまなITエンジニアに自身の体験談を聞いていく。その体験談の中から、読者のヒントになるようなキャリアやスキルが見つかることを願っている。 グーグルでソフトウェアエンジニアとして働く工藤拓氏。現在の業務は日本語の検索結果の質を向上させることだ。奥が深く難しい仕事だが、工藤氏はマイペースで取り組んでいるように見える。悠然と構えるのは天性なのかもしれないが、長年培った高い専門能力からくる余裕もあるのだろう。おっとりしているようでも、機会を見つけて俊敏に行動する勘はとても鋭い。 ■検索結果の精度を高める 分からないことがあれば「ググる」。あえて説明するのもやぼだが「Googleで検索する」ことをいう。ネットを使う人間なら、「ググる」のは日常茶飯事だろう。検索エンジンGoogleは、名前が動詞になって定着するほどの地位

●アンラボ、「ウィニーウイルス」専用ワクチンを本日無料公開。単体で動作し、ウィニーがPC内に存在するかどうかも検索 情報セキュリティ製品を開発販売する株式会社アンラボは、ファイル交換プログラム「ウィニー（Winny）」などを通じて感染する「ウィニーウイルス」専用ワクチンソフトを、自社Webサイト（http://www.ahnlab.co.jp/）にて本日無料公開致しました。 「ウィニー」を通じて感染するウイルスは、PC内の個人情報を不特定多数向けに発信／公開するタイプのものが猛威を振るっており、情報漏洩被害が相次いでおります。 今回配布する専用ワクチンは、ウイルス対策ソフトがなくても単体で「ウィニーウイルス」を検索して削除します。また、全フォルダを自動検索し、「ウィニー」そのものがPC内に存在するかどうかも検索致します。弊社製品ユーザーでない一般のお客様でもご利用可能です。 （詳細

MeCab に至るまでの形態素解析器開発の歴史等はこちらをご覧ください メーリングリスト 一般ユーザ向けメーリングリスト 開発者向けメーリングリスト 新着情報 2008-02-03 MeCab 0.97 マルチスレッド環境で辞書を開くときの排他制御がうまくいっていなかったバグの修正 Windows版でインストール時に辞書の文字コードを指定できるようになった 一部のコンパイラで正しくコンパイルできなかった問題の修正 部分解析モードを変更するAPI の追加 (Tagger::set_partial()) ラティスの生成レベルを変更するAPI の追加 (Tagger::set_lattice_level()) 温度パラメータを変更するAPIの追加 (Tagger::set_theta()) 全候補出力モードを変更するAPIの追加 (Tagger::set_all_morphs()) 2007-

形態素解析と検索APIとTF-IDFでキーワード抽出 2005-10-12-1 [Programming][Algorithm] 形態素解析器と Yahoo! Web 検索 API と TF-IDF を使ってキーワード抽 出するという先日の検索会議でのデモ、KEYAPI[2005-09-30-3]。 教科書に載っているような基本中の基本ですが、あらためてエッセンスを 簡単な例で解説したいと思います。 目的：キーワード抽出対象テキストから、そのテキストを代表する キーワードを抽出します。TF-IDF という指標を用います。（この値が大 きいほどその単語が代表キーワードっぽいということでよろしく。） TF-IDF を計算するためには、 (1) キーワード抽出対象テキスト中の代表キーワード候補出現数 (TF)、 (2) 全てのドキュメント数 (N)、 (3) 代表キーワード

MeCab用、2ちゃんねる辞書 September 11, 2005 18:31:47 Comments (0) Trackbacks (1) プログラミング かな漢字変換用の2ちゃんねる辞書を 元に、MeCab用の辞書を作った。 （　・∀・）つ[2ch.dic.2005-09-11-22-47] 辞書の追加の仕方はMeCabのサイトの辞書の追加方法のページを 見て下さい。 なんかあんまり正確でないんで、動詞・形容詞・接続詞の中で変だったやつは消しました。 それでもまだまだ変な定義されてる語が多い……。 あとコストが今んとこ3206で一律なんだけど、どうなんだろう。 $ mecab こんなスレageるなよ厨房 こんな 連体詞,*,*,*,*,*,こんな,コンナ,コンナ スレ 名詞,一般,*,*,*,*,スレ,スレ,スレ ageる 動詞,自立,*,*,一段,基本形,ageる,アゲル,アゲル

ChaSen 品詞体系 (IPA品詞体系) ChaSen の品詞体系は任意の階層化を許している。 いわゆる形容動詞は名詞の形容動詞語幹として含まれ、 形容詞には含まれない。Juman の指示詞という カテゴリは「連体詞」に含まれている。 判定詞「だ」は助動詞とされている。 Type1 Type2 Type3 Type4 Examples Description

できれば専門の研究者のかたの回答が欲しいです。 形態素解析あるいは機械翻訳などの自然言語処理を勉強しようと思います。 おすすめの教科書、論文などを教えてください（できれば日本語がいいですが、英語も可）。 おすすめの文献ひとつでも複数でも構いません。 私は自然言語処理について専門知識はありません。 初心者が独学で形態素解析ソフトや翻訳ソフトを作れるようになるような文献をお願いします。

ウィキペディアのコンテンツなどのデータは、再配布や再利用のために利用できる一元化されたデータベース・ダンプでの提供が行われています。クローラを用いてコンテンツを収集しないでください。このデータベース・ダンプの生成は不定期に行われています。 ウィキペディアのコンテンツは Creative Commons Attribution-ShareAlike 4.0 International License (CC BY-SA 4.0) および GNU Free Documentation License (GFDL) の下にライセンスされています（Wikipedia:著作権と利用規約を参照）。画像などのメディアファイルは異なるライセンスで提供されることもあり、ファイルページで明記されています。 より詳しい解説はmeta:Data dumps（英語）を参照してください。 全プロジェクトのダンプ：du