[B! MeCab] Hashのブックマーク

試しに - kkobayashi_a’s blog

少し昔に流行したマルコフ連鎖で文章を作る話、ちょっと気になってざっくり作ってみた。どっかから文章をクロールしてくる MeCabとかで形態素解析マルコフ連鎖を作る組み合わせる今回はDMM.R18のレビューから適当にコピーしてきた。形態素解析したものからマルコフ連鎖を作る。位から連続から連続舌連続舌上舌上発射ぐぐってみると、どうやら3階のマルコフ連鎖がよい、とのことらしい。3階と言われてもよく知らないが、まあ3つってことでしょう。Perlで実装する場合、先頭の文字をキーにして、残りを値、最後の要素を次のキーに・・・とすれば2以上の任意のN階のデータが使える。ただ組み合わせただけでもそれなりになるが、字数の範囲（たとえば100〜200の範囲とか）を決めた方が文章っぽいものができる。とりあずパラグラフを作って、字数の範囲に収まってなかったら捨てる、を繰り返すだけで

Hash 2012/05/15

サンプルがハード

リンク

毎日ぴよぴよ【卒研】MeCab辞書にはてなキーワードとwikipediaタイトルを登録

覚え書きみたいな感じ。 Twitterから取得したTLデータをMeCabの形態素解析にかけると、大抵の固有名詞は単語がバラバラになってしまいます。バラバラになってしまった「嵐にしやがれ」これを、固有名詞と判断させるためにどうしたらいいのか。はてなキーワードとwikipediaのタイトルをMeCabの辞書にぶっこんであげればよし。ということでがんばってみた。【主な参考ページ様】 MeCabの辞書をはてなキーワードとWikipediaで鍛える mecab辞書にwikipediaのタイトル名を追加【はてなキーワード編】ここからはてなダイアリーキーワードふりがなリストをダウンロード。(keywordlist_furigana.csv) キーワードIDをついてない方を選んだ。で、このcsvファイルをMeCabの辞書用のcsvに変換しなければならない。例えばこんな感じ。嵐にしやがれ

Hash 2012/04/03

いいですね

リンク

HugeDomains.com

Captcha security check hisasann.com is for sale Please prove you're not a robot View Price Processing

Hash 2012/01/25

リンク

きまぐれ日記: Mac OS X Leopard に「標準で」インストールされている MeCabを使ってみる

Mac OS X Leopard の Spotlight に MeCab が使われているらしいという情報を聞いたので、実際に深追いしてみました。いとも簡単に /usr/lib/libmecab* , /usr/include/mecab.h と /usr/lib/mecab/dic/apple/{ja,tc,sc} というディレクトリを発見しました。ts, sc は traditional/simplified Chinese (繁体字/簡体字) の略で、中国語の辞書だと推察されます。辞書のディレクトリはさらに dic/apple/ja/{LE,BE} という風に、エンディアンごとに分かれています。MeCabの辞書はエンディアン依存なので、こうするしかないのかもしれません。さて、この辞書を使って、UTF8の文字列を流し込んでみたのですが、うまいこと解析してくれません。MeCabのバイナ

Hash 2011/06/20

なん...だと...？これはすごい

mac
MeCab

リンク

ベイジアンフィルターで日本語を分類する。 - ザリガニが見ていた...。

ベイジアンフィルターで日本語を取り扱う時に問題になってくるのが、文章を品詞レベルに分解する処理。英語の場合は、文章はスペースで区切られた品詞の集合で構成されるため、余分なことをせずに簡単に処理できる。例えば、'How do I set up an AirPort wireless network?'という文章の場合、ベイジアンフィルターは、スペースで区切られた単語を、分類するための判断材料として自動的に取り込んでくれる。ところが、日本語の場合は、「エアポートの無線ネットワークはどうやって設定しますか？」という文章を、「エアポートの無線ネットワークはどうやって設定しますか？」のように、品詞をスペースで区切った文章に変換して、ベイジアンフィルターに渡してあげる必要があるらしい。これはすごく高度な作業だ。自分のレベルではどうやっても出来ない。そこで、この高度な作業を