日本語形態素解析の裏側を覗く！MeCab はどのように形態素解析しているか - クックパッド開発者ブログ
こんにちは、買物情報事業部の荒引 (@a_bicky) です。 前回、「検索結果の疑問を解消するための検索の基礎」で単語単位でインデキシングする前提で説明しましたが、今回は文などを単語単位で分割するために使う技術である形態素解析について触れます。 形態素解析器には色々ありますが、中でもメジャーと思われる MeCab の仕組みについて説明します。 MeCab の解析精度を上げるために辞書に単語を追加したことのある方もいると思いますが、動作原理を理解することで単語を追加する際に適切な生起コストを設定できるようになったり、学習の際に適切なパラメータを設定できるようになったりするはずです。 なお、MeCab は汎用テキスト変換ツールとしても使用できます が、簡単のため MeCab + IPA 辞書のデフォルト設定前提で説明します。 アジェンダ 形態素解析とは MeCab における最適な解析結果の推
MeCabのコマンドライン引数一覧とその実行例 | mwSoft
-r --rcfile 使用するリソースファイルを指定する リソースファイルとは、辞書ディレクトリに入っている「dicrc」ファイルを指します。 試しにシステム辞書の「dicrc」ファイルをコピーして、「dicrc2」というファイルを作り、その中の「; simple」の「EOS」を「eos」に書き換えます。するとこんな風になります。 // リソースを指定せずに実行 $ echo テスト | mecab -O simple テスト 名詞-サ変接続 EOS // リソースを改変したdic2に指定して実行 $ echo テスト | mecab -r dicrc2 -O simple -d /usr/local/lib/mecab/dic/naist-jdic テスト 名詞-サ変接続 eos 我が家の環境では、システム辞書ディレクトリをカレントディレクトリとした状態にするか、「-d」でシステム辞書
centos mecab に wikipedia はてなキーワード 辞書登録 | まとめーたー
photoBy: http://www.kagoya.jp/_cms_/file/img/webalizer_blo…mecab に 辞書を登録しようそのままmecabを使っても性能が低く、うまく解析してくれない。 mecabをパワーアップしてみよう。 参考 http://d.hatena.ne.jp/hirokan55/20100210/p1 naist 辞書をインストールnaist辞書とは、初期の辞書より多少性能が良い辞書。 メインとしてこれを使うことにする。 ダウンロードhttp://iij.dl.sourceforge.jp/naist-jdic/ より辞書をダウンロード wget 'http://sourceforge.jp/frs/redir.php?m=jaist&f=%2Fnaist-jdic%2F53500%2Fmecab-naist-jdic-0.6.3b-201110
Holy (K)night [係り受け解析] cabochaのインストールでエラー [ver6.0-pre4]
2024年02月 / 01月≪ 1234567891011121314151617181920212223242526272829≫03月 とある事情で、「かぼちゃ/cabocha」という係り受け解析器をインストールすることになった。 これは形態素解析器：Mecabの作者が作成したものである。 で、ググって探してみるとver0.53くらいの古いものを発見。 この0.53のバージョンでも一応動作はするのですが、UTF-8に対応していないため、日本語を入力すると文字化けします。 nkfコマンドなどでいちいち変換すれば使えなくもないのですが、やはり面倒。 なので、UTF-8に対応している最新バージョンの0.60を configure -> make をしてインストールすることにしました。 [依存関係] cabochaには依存しているパッケージが有ります。 ・Mecab ・Juman ・TinyS
はてなブログ | 無料ブログを作成しよう
来年も作りたい！ふきのとう料理を満喫した 2024年春の記録 春は自炊が楽しい季節 1年の中で最も自炊が楽しい季節は春だと思う。スーパーの棚にやわらかな色合いの野菜が並ぶと自然とこころが弾む。 中でもときめくのは山菜だ。早いと2月下旬ごろから並び始めるそれは、タラの芽、ふきのとうと続き、桜の頃にはうるい、ウド、こ…
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://fukushimu.blog.shinobi.jp/mecab/-mecab-%20mecab%E8%BE%9E%E6%9B%B8%E3%81%ABwikipedia%E3%81%AE%E3%82%BF%E3%82%A4%E3%83%88%E3%83%AB%E3%83%AA%E3%82%B9%E3%83%88%E3%82%92%E8%BF%BD%E5%8A%A0%20-wikipedia--%E3%81%AF%E3%81%A6%E3%81%AA%E3%82%AD%E3%83%BC%E3%83
