タグ

ブックマーク / tkng.hatenablog.com (2)

  • 新はてなブックマークでも使われてるComplement Naive Bayesを解説するよ - 射撃しつつ前転 改

    新はてブ正式リリース記念ということで。もうリリースから何週間も経っちゃったけど。 新はてなブックマークではブックマークエントリをカテゴリへと自動で分類しているが、このカテゴリ分類に使われているアルゴリズムはComplement Naive Bayesらしい。今日はこのアルゴリズムについて紹介してみる。 Complement Naive Bayesは2003年のICMLでJ. Rennieらが提案した手法である。ICMLというのは、機械学習に関する(たぶん)最難関の学会で、採択率はここ数年は30%を切っている。2003は119/371で、32.1%の採択率だったようだ。 Complement Naive Bayesの位置づけは 実装が簡単 学習時間が短い 性能もそこそこよい という感じで、2003年段階にあっても、絶対的な性能ではSVMに負けていた。しかし、学習が早いというのは実アプリケーシ

    新はてなブックマークでも使われてるComplement Naive Bayesを解説するよ - 射撃しつつ前転 改
    kkobayashi
    kkobayashi 2009/01/03
    ぱっと見「それってベイズなの?」って思っちゃうけど。あとでちゃんと読もう。ベイズをナイーブに実装すると長時間かかるよ、ってことでサンプリングが出てきたんだと思うんだよなあ
  • 遺伝的アルゴリズムの使用は敗北である - 射撃しつつ前転 改

    学生時代、同じ専攻にいたある教官は、遺伝的アルゴリズムを利用した研究を嫌っていた。別に理由のないことではなく、遺伝的アルゴリズムはどんな問題でもだいたいそこそこうまくこなすが、出た結果をそこからさらに改善する方法がなく、オリジナリティを発揮する余地がないので、ある特定の問題を解くのであれば、もっと違う解法を探すべきである、という話だった。 まったくその通りだと思って、それから私は、遺伝的アルゴリズムを使ってなんたらかんたらという論文はあまり読まないことにした。もちろん、遺伝的アルゴリズム自体を研究するのであれば、話はこの範疇に収まらないのだと思う。また、実問題を解く際に遺伝的アルゴリズムを使うのは、まったく非難されるべきではなく、むしろ推奨される事だろう。 ところで、MCMCの「うまく行き方」というのは、遺伝的アルゴリズムのそれと何か似てるような気がするんだけど、気のせいだろうか。理論的な

    遺伝的アルゴリズムの使用は敗北である - 射撃しつつ前転 改
    kkobayashi
    kkobayashi 2008/02/10
    評価関数と「少し変化させる」というのはGAとMCMC(特にMH)の共通点なのかも。個人的にはコンピューターの力技で強引に問題を解いてしまう方法は結構すき
  • 1