タグ

Algorithmとspamに関するYasSoのブックマーク (3)

  • ワードサラダ技術について

    後半部分が重要で、未来の挙動が現在の値だけで決定され、過去の挙動と無関係である ということです。 さて、実例です。たとえば次の文章を考えてみます。 「通信販売大手セシールは9日、生命保険の販売に格参入する方針を明らかにした。」 まず形態素解析するとこんな感じになります。 通信 名詞,サ変接続,*,*,*,*,通信,ツウシン,ツーシン 販売 名詞,サ変接続,*,*,*,*,販売,ハンバイ,ハンバイ 大手 名詞,一般,*,*,*,*,大手,オオテ,オーテ セシール 名詞,固有名詞,組織,*,*,*,セシール,セシール,セシール は 助詞,係助詞,*,*,*,*,は,ハ,ワ 9 名詞,数,*,*,*,*,9,キュウ,キュー 日 名詞,接尾,助数詞,*,*,*,日,ニチ,ニチ 、 記号,読点,*,*,*,*,、,、,、 生命 名詞,一般,*,*,*,*,生命,セイメイ,セイメイ 保険 名詞,一般

  • 【言語処理】Perlでspamフィルタを作る

    1 :デフォルトの名無しさん:2006/11/13(月) 18:19:03 相談できる相手がいないのでここで知識を得たいと思いスレ立てしました。 Perlでのより良いプログラミングの話以外に、spamフィルタ技術の話全般で 切磋琢磨したいです(切磋琢磨という表現はおこがましいとは思いますが。。) 一応動くものは作ったので上げたいと思うのですが perlは初めて1ヶ月ほどな上、人に見せるつもりで書いたプログラムではないので かなり読みにくいと思います。 (作っているものはbsfilterやPOPFileのようなベイズを基にしたクライアント側のフィルタです) 2 :デフォルトの名無しさん:2006/11/13(月) 18:26:32 動くものが欲しければ既存のもの使えば良いじゃない 技術的な話なら書籍なり論文集なり漁れば良いじゃない あとなぜに Perl? 3 :デフォルトの名無しさん:20

  • ベイジアンフィルタについて

    最近話題のベイズ理論を用いたフィルタについて整理してみました.まず,ベ イズ理論が注目され始めたというニュースを最初にみたのが,MSも注目する “ベイズ”って何だ(oricom.co.jp)でした. このときは対して気にもとめていませんでしたが,再度興味をそそられ出した のが,グーグル、インテル、MSが注目するベイズ理論(CNET)のニュース. MSだけならまだしも,Googleが,というのが自分的には大きかったです.しか し,このニュースだけでは,この技術が具体的にどのように採用されるのか, 特に検索エンジンのような大規模なものに適用可能かどうかは大きな疑問でし た. そもそも,このベイズ理論がどこに聞いてくるのかということを考えるとその 疑問は自然だと思います.ベイズ理論(ベイズ推定)は,過去に起きた事象の 確率を利用して未来を予測する手法です.そのため,直感的にはユーザごとの 最適化

  • 1