[B! rda] yukimori_726のブックマーク

yukimori_726 id:yukimori_726

rdaに関するyukimori_726のブックマーク (2)

AdaGrad + RDAを実装してみた - Christopher-727の日記
AdaGrad + RDA 「結局オンライン最適化はAdaGrad1択だよね」「AdaGrad + RDAでの分類が精度一番良いみたいです」「AdaGrad + RDAの方が実装がはるかに簡単」と立て続けに聞いたのでAdaGrad + RDA*1を理解するために実装してみた。結論から言うと、確かに実装は簡単だし精度もでました。損失関数と正則化項 AdaGrad自身は最適化手法です。すると適用するには最適化問題の形で記述する必要があります。分類問題における定式化では損失関数と正則化項を足したものになります。今回の損失関数はヒンジロスとなります。は1 or -1のラベル、はベクトル空間上にマッピングしたデータです。正則化項は-正則化、-正則化など色々有りますが今回は-正則化となります。劣微分で、最適化問題を解くわけです。今回はやの偏微分を用いるのですが、max関数や絶対値
yukimori_726 2016/05/02
optimization

adagrad

classifier

rda
リンク
実装が簡単で高性能な線形識別器、AdaGrad+RDAの解説 - EchizenBlog-Zwei
機械学習では、データがどのクラスに属するかを識別するという問題が基本的です。この識別問題は線形識別器というモデルを使うことで解くことができます。この記事では、実装が簡単で高性能な線形識別器、AdaGrad+RDAの解説を行います。 AdaGrad+RDAの詳細な解説は以下の論文を参考にしてください。 http://www.magicbroom.info/Papers/DuchiHaSi10.pdf こちらはAdaGrad+RDAの実装例です。 http://d.hatena.ne.jp/echizen_tm/20140726/1406376207 識別問題は、通常データを2つのクラスに分類します。どうやって分類するかというと、線形識別器が正の値を返したか、負の値を返したかでクラスを分けます。具体的には、線形識別器は以下の形式をしています。 y = Σ(x_i * w_i) データを表
yukimori_726 2016/05/02
adagrad

classifier

rda

optimization
リンク
1