日本語形態素解析の裏側を覗く！MeCab はどのように形態素解析しているか - クックパッド開発者ブログ
こんにちは、買物情報事業部の荒引 (@a_bicky) です。 前回、「検索結果の疑問を解消するための検索の基礎」で単語単位でインデキシングする前提で説明しましたが、今回は文などを単語単位で分割するために使う技術である形態素解析について触れます。 形態素解析器には色々ありますが、中でもメジャーと思われる MeCab の仕組みについて説明します。 MeCab の解析精度を上げるために辞書に単語を追加したことのある方もいると思いますが、動作原理を理解することで単語を追加する際に適切な生起コストを設定できるようになったり、学習の際に適切なパラメータを設定できるようになったりするはずです。 なお、MeCab は汎用テキスト変換ツールとしても使用できます が、簡単のため MeCab + IPA 辞書のデフォルト設定前提で説明します。 アジェンダ 形態素解析とは MeCab における最適な解析結果の推
R言語で自然言語処理 〜 第2次安倍内閣 施政方針演説 - Qiita
(1) 準備: MeCabのダウンロード & インストールを済ませておく。 (URL) https://code.google.com/p/mecab/downloads/list ※ 2014年5月19日 現在 (2) テキストデータ準備:（歴代内閣 施政方針演説） 首相官邸サイトから、手でエディタにコピー&ペースト (URL)http://www.kantei.go.jp/jp/noda/statement2/index.html" class="autolink">http://www.kantei.go.jp/jp/noda/statement2/index.html">http://www.kantei.go.jp/jp/noda/statement2/index.html ※ 節番号や、節の表題、冒頭の空白文字 を削除 【ファイル名】 siseihousin.AbeCabine
RMeCabFunctions - アールメカブ
詳細は manual081108.pdfと，追加関数の解説を加えた ism091124doc.pdf を参照してください．簡単な紹介スライド tokei2010prosper2.pdf _ ユーザー辞書 すべての関数に,実行時にユーザー辞書を指定できるようにしました.ただし Mac や Linux ,Windows でMeCab? へのパス設定を行っている場合は,システム側でmecabrc ファイルを設定ください.この引数は,Windowsユーザーで環境設定が難しいと感じているユーザーのための仕様です.詳しくは, RMeCabをご覧ください. かならず mecab で正しくコンパイルした辞書ファイルを指定してください. テキスト59ページのユーザー辞書の作成方法は Windows を対象とした説明です．Mac および Linux では http://mecab.sourceforge.ne
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
