タグ

jubatusとonlinelearningに関するyukimori_726のブックマーク (2)

  • オンライン分類器の比較 - Qiita

    動機 前回書いた通り、会社内にデータは全く貯められていない状態です。ですが、将来ログをまともに取得した場合のデータは膨大になることが想定されました。そこで、(時間/空間)計算量を考慮するとオンライン学習アルゴリズムを使うのが最良と判断しました。 (以前のpostも想定しての話を書いています。いろんな意味で残念ですね...orz) 今までオンライン分類器をまともに使った事がなかったため、性能評価も兼ねていくつかの分類器を試してみたというわけです(随分前にですが...)。 オンライン分類器の概要 線形分類器は大体 $w^*:=argmin_wΣ_iL(x^{(i)},y^{(i)},w)+CR(w)$ $L(x^{(i)},y^{(i)},w)$:ロス関数, $R(w)$:正規化項 で表すことができると思います。 オンライン学習では、「データを1つ受け取るたびに逐次的にウェイトを更新する」とい

    オンライン分類器の比較 - Qiita
  • 線形回帰および識別

    オンライン学習 オンライン(あるいは逐次)学習とは データを1つづつ読み込んで、それまでの学習結果 を更新する。 2つの利用局面 1. データ全体は保持しているが、学習を1データ毎に行う 2. データが1こずつ時系列としてやってくる この場合はストリームという。 データ全体をメモリの乗せなくてよいのでマシンに必 要なメモリ少、あるいはメモリに乗りきらないほど大 きなデータから学習可能 1個のデータからの学習(これを1ラウンドという)だけ なら高速 オンライン学習の定式化 以下1,2,3を時刻 t=1,2,…,Tで繰り返す 1. 時刻tにおいて、仮説ht、入力データxt 、正しい結果 データytが与えられる。 2. 仮説ht による結果ht (xt)を計算し、その後でytとの 比較を損失関数lによって行う。つまりl(ht ,(xt , yt )) を計算 3. 損失関数lの値に応じて

  • 1