タグ

nipsとMLに関するmamorukのブックマーク (5)

  • スペクトラルクラスタリングの基本的な解説、および高速化手法のざっくりとした説明 - The beautiful mind

    久しぶりにブログを更新してみる。 以前スペクトラルクラスタリングについて記事を書いたが、そのときはだいぶ勉強不足で、少し見当違いのことを書いていた気がする。 スペクトラルクラスタリングは、質的にはラプラシアン固有マップ法と同じことをしている。ラプラシアン固有マップ法は次元削減の手法で、もともとの高次元空間におけるデータ間の類似度が、低次元に写像した後にも反映されるように設計されている。それが結果的に類似度行列から定義されるグラフ・ラプラシアンの固有値問題に帰着されるのだ。具体的には、グラフ・ラプラシアンLの固有値を大きいほう(定式化によっては小さいほう)からk番目までをλ1, λ2, …,λk, それに対応する固有ベクトルをv1, v2, …, vk とすると、その固有ベクトルを列として並べた行列 V = (v1 v2 … vk)の各行が、各データ点の低次元空間における座標とする。このと

    スペクトラルクラスタリングの基本的な解説、および高速化手法のざっくりとした説明 - The beautiful mind
  • AROW++ -- Yet Another AROW tool

    AROW++ — Yet Another AROW tool Last update: Sun Jun 06 16:14:41 +0900 2010 Introduction AROW++ is an simple implementation of Adaptive Regularization of Weights [Crammer+ 2009], online learning algorithm for binary classification. AROW is efficient for learning tasks such as Natural Language Processing tasks that the data is high-dimensional, extremely sparse. AROW is an extension of confidence we

  • Google Code Archive - Long-term storage for Google Code Project Hosting.

    Code Archive Skip to content Google About Google Privacy Terms

  • [機械学習] AROWの落ち穂拾い - tsubosakaの日記

    前回の記事でAROWを実装して、パラメータの影響に関して簡単な実験をしてみた。 まず、パラメータr=0.1,10.0,50.0とした場合の誤り率の収束は下図のようになった。(データは前回と同様にnews20.binaryを用いた) これを見るとr=0.1のときはすぐに収束しているのに対して、r=50のときはなかなか収束しないということが分かる。 一方で元データのラベルを10%反転させたものを訓練データとして用いた場合は以下のような図が得られる。このときr=0.1と10は明らかに過学習となっているのに対し、r=50のときは反復ごとに誤り率が減少していることが分かる。 そもそもパラメータrは式(1)で表される、以前の確率分布からのずれと正しく分類できるかどうかのトレードオフパラメータであった。これが小さい場合は確率分布から大きくずれてもいいから分類を正しくすることを要求し、大きい場合は大きなず

    [機械学習] AROWの落ち穂拾い - tsubosakaの日記
  • [機械学習] AROWの落ち穂拾い2 - tsubosakaの日記

    とりあえず以下のコードをollのoll.cppに突っ込むことによってAROWを使うようにできる。(あとoll.hppやoll_train.cppの学習手法が並んでいるところにAROW用の値を付け加える) バイアスの部分とかはちゃんとなってるかあまり自信ないです。 CW(Confidence-weighted)のコードと非常によく似たコードになっている。 // // Adaptive Regularization Of Weight Vector // void oll::updateAROW(const fv_t& fv, const int y, const float alpha) { for (size_t i = 0; i < fv.size(); i++){ if (cov.size() <= fv[i].first) { w.resize(fv[i].first+1); con

    [機械学習] AROWの落ち穂拾い2 - tsubosakaの日記
  • 1