Not your computer? Use a private browsing window to sign in. Learn more about using Guest mode
Google Sites: Sign-in
Not your computer? Use a private browsing window to sign in. Learn more about using Guest mode
機械学習 × MapReduce - ny23の日記
個人的な興味というより，雑用絡みで眺めた論文の紹介．機械学習アルゴリズムを並列分散化するという話が最近流行っているようだ．全然網羅的ではないけど，誰かの役に立つかも知れないので，幾つかメモしておく．まず古典的にはこれ， Map-reduce for machine learning on multicore (NIPS 2006) 古典的な機械学習アルゴリズム（バッチ学習）の多くは，Statistical Query Model で記述できて，それらは summation form で記述できる (から，MapReduce で並列化できる)．実装は Mahout．ただ最近は，バッチアルゴリズムで解ける問題には多くの場合対応するオンラインアルゴリズムが提案されていて，バッチアルゴリズムを並列化することのメリットはあまり無い．オンラインアルゴリズムだとパラメタが連続的に更新されるので，MapR
スペクトラルクラスタリングの基本的な解説、および高速化手法のざっくりとした説明 - The beautiful mind
久しぶりにブログを更新してみる。 以前スペクトラルクラスタリングについて記事を書いたが、そのときはだいぶ勉強不足で、少し見当違いのことを書いていた気がする。 スペクトラルクラスタリングは、本質的にはラプラシアン固有マップ法と同じことをしている。ラプラシアン固有マップ法は次元削減の手法で、もともとの高次元空間におけるデータ間の類似度が、低次元に写像した後にも反映されるように設計されている。それが結果的に類似度行列から定義されるグラフ・ラプラシアンの固有値問題に帰着されるのだ。具体的には、グラフ・ラプラシアンLの固有値を大きいほう（定式化によっては小さいほう）からk番目までをλ1, λ2, …,λk, それに対応する固有ベクトルをv1, v2, …, vk とすると、その固有ベクトルを列として並べた行列 V = (v1 v2 … vk)の各行が、各データ点の低次元空間における座標とする。このと
AROW++ -- Yet Another AROW tool
AROW++ — Yet Another AROW tool Last update: Sun Jun 06 16:14:41 +0900 2010 Introduction AROW++ is an simple implementation of Adaptive Regularization of Weights [Crammer+ 2009], online learning algorithm for binary classification. AROW is efficient for learning tasks such as Natural Language Processing tasks that the data is high-dimensional, extremely sparse. AROW is an extension of confidence we
[機械学習] AROWの落ち穂拾い - tsubosakaの日記
前回の記事でAROWを実装して、パラメータの影響に関して簡単な実験をしてみた。 まず、パラメータr=0.1,10.0,50.0とした場合の誤り率の収束は下図のようになった。(データは前回と同様にnews20.binaryを用いた) これを見るとr=0.1のときはすぐに収束しているのに対して、r=50のときはなかなか収束しないということが分かる。 一方で元データのラベルを10%反転させたものを訓練データとして用いた場合は以下のような図が得られる。このときr=0.1と10は明らかに過学習となっているのに対し、r=50のときは反復ごとに誤り率が減少していることが分かる。 そもそもパラメータrは式(1)で表される、以前の確率分布からのずれと正しく分類できるかどうかのトレードオフパラメータであった。これが小さい場合は確率分布から大きくずれてもいいから分類を正しくすることを要求し、大きい場合は大きなず
![[機械学習] AROWの落ち穂拾い - tsubosakaの日記](https://cdn-ak-scissors.b.st-hatena.com/image/square/69c0ccafdfba8771017fd2df32291a4d0c617760/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Ft%2Ftsubosaka%2F20091227%2F20091227130337.png)
[機械学習] AROWの落ち穂拾い2 - tsubosakaの日記
とりあえず以下のコードをollのoll.cppに突っ込むことによってAROWを使うようにできる。(あとoll.hppやoll_train.cppの学習手法が並んでいるところにAROW用の値を付け加える) バイアスの部分とかはちゃんとなってるかあまり自信ないです。 CW(Confidence-weighted)のコードと非常によく似たコードになっている。 // // Adaptive Regularization Of Weight Vector // void oll::updateAROW(const fv_t& fv, const int y, const float alpha) { for (size_t i = 0; i < fv.size(); i++){ if (cov.size() <= fv[i].first) { w.resize(fv[i].first+1); con
![[機械学習] AROWの落ち穂拾い2 - tsubosakaの日記](https://cdn-ak-scissors.b.st-hatena.com/image/square/41f0265049f7eacb86d31b3235b631bca2738d36/height=288;version=1;width=512/https%3A%2F%2Fogimage.blog.st-hatena.com%2F17680117127124028144%2F17680117127124030998%2F1557332454)
[機械学習] トピックモデル関係の論文メモ - tsubosakaの日記
最近読んだトピックモデル関係の論文のざっとしたメモ。内容については間違って理解しているところも多々あると思います。 (追記 12/24) 最後のほうに論文を読む基礎となる文献を追加しました。 Efficient Methods for Topic Model Inference on Streaming Document Collections (KDD 2009) 論文の話は2つあって一つ目がSparseLDAというCollapsed Gibbs samplerの省メモリかつ高速な方法の提案と2つ目はオンラインで文章が入力されるような場合において訓練データと新規データをどう使うかという戦略について述べて実験している。 Collapsed Gibbs samplerを高速化しようという論文はPorteous et al.(KDD 2008)でも述べられているけどそれよりも2倍ぐらい高速(通
![[機械学習] トピックモデル関係の論文メモ - tsubosakaの日記](https://cdn-ak-scissors.b.st-hatena.com/image/square/a7d7bebddebe117cac45f7a60d8849efcd2d85c8/height=288;version=1;width=512/https%3A%2F%2Fogimage.blog.st-hatena.com%2F17680117127124028144%2F17680117127124031236%2F1557332459)
Polynomial Semantic Indexing - tsubosakaの日記
NIPS 2009で発表された論文"Polynomial Semantic Indexing" [1]を読んだ。これは低ランク近似を用いた教師ありの情報検索に関する手法である。 情報検索について 与えられたクエリに関して適当な重みづけをおこなって順位づけして、適切な文章を返却するという問題は古くから研究されている。 オーソドックスな方法としては文章をbag-of-wordsで表して各単語の重みをtf-idfで正規化し、クエリに関しても同様な処理を行いコサイン類似度などの距離尺度を使って最も近い何件かを返すというものがある。この方法の欠点としてはクエリの単語を含まない文章はヒットしないという問題がある。これは各単語が独立であるという仮定を行っているためであり、明らかに誤っている仮定である。 もう一つの方法としては文章-単語行列が低次元の特徴量によって近似する方法である。代表的な方法としてLS
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Google Code Archive - Long-term storage for Google Code Project Hosting.