線形回帰および識別
オンライン学習 オンライン（あるいは逐次）学習とは データを１つづつ読み込んで、それまでの学習結果 を更新する。 2つの利用局面 1. データ全体は保持しているが、学習を1データ毎に行う 2. データが１こずつ時系列としてやってくる この場合はストリームという。 データ全体をメモリの乗せなくてよいのでマシンに必 要なメモリ少、あるいはメモリに乗りきらないほど大 きなデータから学習可能 1個のデータからの学習（これを1ラウンドという）だけ なら高速 オンライン学習の定式化 以下1,2,3を時刻 t=1,2,…,Tで繰り返す 1. 時刻tにおいて、仮説ht、入力データxt 、正しい結果 データytが与えられる。 2. 仮説ht による結果ht (xt)を計算し、その後でytとの 比較を損失関数lによって行う。つまりl(ht ,(xt , yt )) を計算 3. 損失関数lの値に応じて
【Minibatch SGD】確率的勾配降下法を goroutine で並行化してみる |
前に書いた【MSGD】Goで確率的勾配降下法を書いてみた【gonum/matrix】 の続きで goroutine で MSGD (Mini-batch Stochastic Gradient Descent)を並行処理化してみました。 参考にさせて頂いた書籍は, オンライン機械学習 (機械学習プロフェッショナルシリーズ)です。 確率的勾配降下法の並列化 前回は Minibatch に分割して Minibatch単位で パラメータを更新する MSGD を書いた。 確率的勾配降下法 (に限らずオンライン学習に関する最適化手法?) の並列化について, 大まかに下記の3つのアプローチがある。 Bulk Synchronous Parallel（BSP) : 各プロセスが1回同期するたびに全体を同期する Parallel SGD : 各プロセスで学習し, 最後に1度だけパラメータベクトルの平均を計
機械学習超入門II 〜Gmailの優先トレイでも使っているPA法を30分で習得しよう！〜 - EchizenBlog-Zwei
最近の論文で The Learning Behind Gmail Priority Inbox D.Aberdeen, O.Pacovsky & A.Slater というのがある。これはGmailの優先トレイで使っている機械学習のアルゴリズムについて解説したもの。というと難しそうな印象があるが、この論文で紹介されているPassive-Aggressiveという手法は実装がとても簡単。なので今回はこれについて解説するよ。 参考資料: Gmail - 優先トレイ Online Passive-Aggressive Algorithms K.Crammer et al. The Learning Behind Gmail Priority Inbox読んだメモ - 糞ネット弁慶 わかりやすい日本語解説 機械学習超入門 〜そろそろナイーブベイズについてひとこと言っておくか〜 - EchizenBl
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
