MeCabを用いてスパムフィルタを作ってみよう
Photo by vsz, night glow 以前このブログでMeCabによる形態素解析を紹介しました。正直その後すっかり取り上げたことを忘れてのほほんと過ごしていたわけです(*1)が、ふとしたことでベイジアンフィルタに関するアルゴリズムの記事を見つけ、日本語でこのような記事があるなんて珍しいなということで、ちょっくら実装してみようと思い立ったわけです。 形態素解析部分はMeCabくんがやってくれるので、こっちがするのは名詞を抜き出してデータベース辞書を作り、Graham方式を用いて実装したくらいです。正直ただ単純に実装しただけなのでそこまで参考にならないと思いますが、一応coderepos上に公開してみます。 svn checkout http://svn.coderepos.org/share/lang/python/spam Somewhere でチェックアウトしてください。 テ
Text::MeCab を x86_64 環境でインストールする方法
DMAKI氏による MeCab の Perl モジュールが CPANにアップロードされたようです。SWIG で生成されたものより高速に動作するようです。こんなに差が出るとは正直驚きです。 MeCab::Node の iterator をまわして要素を取りだす処理は、SWIG の場合 tie hash になったり、正直遅いと想像していたのですが、お見事です。 mecab 標準の mecab-perl より高速とのことで、モジュールの安定性を待っている間にすっかり忘れてしまった Text::MeCab ですが、突然思い出したので使ってみようかと思いインストールしてみたところ、make test にてエラー。 う〜ん・・・たぶん x86_64 環境だからだろうと推測し情報集め。 PERL_DL_NONLAZY=1 /usr/local/bin/perl "-MExtUtils::Command:
livedoor Techブログ : wikipediaのデータや顔文字辞書からmecabのユーザ辞書を作成するフレームワーク
突然ですが，mecabの辞書 (mecab-ipadic) をデフォルトのまま使って，mecab意外と使えねぇとか文句言ってる悪い子はおらんかね？ mecab-ipadic は比較的お行儀のよい日本語をベースに作られているので，そのままでは web上の口語文体のテキストはうまく扱えないことがあります。本来は教師データを用意し，学習させるといった手法を使うのが正攻法だと思いますが，とりあえず名詞を充実させるだけでも実用度はだいぶ上がるでしょう。 人間の話す言語には，動詞の語幹や名詞には日々新しく語彙が増えるけど，助詞や活用のルールは簡単には変化しない，という特性があります。特に「いま最もつぶやかれている単語ランキング」といった集計をするような場合は，名詞の範囲の切り出しさえ間違えなければそれなりの結果を出せることも多いのです。 ただ，辞書への単語追加はここにある通り簡単にできるのですが，単語
MeCabにユーザ定義辞書を読ませて専門用語の精度を高めよう - mmiyajix
一つ前のエントリーでMeCabにシステム辞書としてNAIST-jdicを使うように設定したけど、まだまだ専門用語に対して不十分である。 例えば$ echo "進化的画像処理" | mecab 進化 名詞,サ変接続,*,*,*,*,進化,シンカ,シンカ,, 的 名詞,接尾,形容動詞語幹,*,*,*,的,テキ,テキ,, 画像 名詞,一般,*,*,*,*,画像,ガゾウ,ガゾー,, 処理 名詞,サ変接続,*,*,*,*,処理,ショリ,ショリ,, EOSみたいに色々分かれてしまう。まあ間違ってないし、いいんだけど折角なので名詞を登録してやりたい。 まず設定ファイル書き換えてユーザ辞書読ます$ emacs /opt/local/etc/mecabrcuserdic = /Users/hoge/macab/keywords.dic それではユーザ辞書を作ります。 基本的にカンマ区切りのCSVとして記述し
MeCabをPython Bindingから呼んで文章中の単語をカウントしよう - mmiyajix
Toybox - 作成物など M-Server - 自作アップローダ ZoomToDo - ToDo管理サイト IS Report System - 研究報告レポートCMS Flash Flush Entry - 公開用記事 Link - 自分関連のサイトたち Ruhenheim - 研究メモ用Blog About.me Twitter IS Report - 公開研究レポート集 [Python][Skype]Skypeのムードメッセージを現在地に書き換える for mac [2011/08/29] [Facebook][API]コメント欄を設置したった（Facebookコメントプラグインの使い方） [2011/08/03] TwitterやFacebookのSocial buttonを設置してみた [2011/06/26] [GAE]abでmemcache使った場合のベンチマーク測ってみ
形態素解析辞書 UniDic
人気デベロッパー Play’N Go は、2017年にユニークなスロットを発売しました ムーンプリンセス. オンライン スロットゲーム ムーンプリンセス このゲームは、そのユニークなオプション、シンプルな操作性、アニメをモチーフにしたカラフルなグラフィックにより、瞬く間にプレイヤーから人気を集めました。 スロットマシンの ムーンプリンセス は、漫画『美少女戦士セーラームーン』のテーマを明らかにする。第1巻は1992年に発売され、現在も人気があります。を可能にします MoonPrincess は、長年にわたり最高のスロットのリストをリードし、プレイヤーに寛大な配当だけを提供し、ゲームプレイへの関心を保証します。 すべてのシンボルが雰囲気を強調する オンライン スロットゲーム ムーンプリンセス, 心地よいサウンドトラックがゲームプレイを引き立て、音楽をパーソナライズできるため、ユーザーはスロッ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
