機械学習におけるオンライン確率的最適化の理論
The document discusses hyperparameter optimization in machine learning models. It introduces various hyperparameters that can affect model performance, and notes that as models become more complex, the number of hyperparameters increases, making manual tuning difficult. It formulates hyperparameter optimization as a black-box optimization problem to minimize validation loss and discusses challenge
Stochastic Gradient Descent Training for L1-regularized Log-linear Models with Cumulative Penalty
Proceedings of the 47th Annual Meeting of the ACL and the 4th IJCNLP of the AFNLP, pages 477–485, Suntec, Singapore, 2-7 August 2009. c 2009 ACL and AFNLP Stochastic Gradient Descent Training for L1-regularized Log-linear Models with Cumulative Penalty Yoshimasa Tsuruoka†‡ Jun’ichi Tsujii†‡∗ Sophia Ananiadou†‡ † School of Computer Science, University of Manchester, UK ‡ National Centre for Text Mi
FOBOS
劣勾配法の問題点 収束が遅い L1正則化に適用してみても，0になる重みの数があまり多くならない 概要 勾配法に似たオンライン学習アルゴリズム 各データについてのパラメーター更新を，勾配法では一気にしていたが，FOBOSでは2ステップに分けている 損失項の劣勾配法による処理 正則化項の閉じた形での最適解の計算 更新式について 更新前のパラメータを$w_t$とおく 損失項の劣勾配法による処理を終えたときに得たパラメータを$v$をおく 第2ステップの更新式は $w_{t+1} = \arg \min_{\bold{w}} \frac{1}{2} || \bold{w} – \bold{v} || ^2 + \hat{\lambda} R(\bold{w}) $ $\hat{\lambda}$は学習率 $R()$は正則化関数 RがL1正則化関数なら，$\bold{w}_{t+1}$の$i$番目の値
AdaGrad+RDAを実装しました。 - EchizenBlog-Zwei
AdaGrad(Adaptive Gradient)というオンライン学習のアルゴリズムを実装しました。 https://github.com/echizentm/AdaGrad 論文: Adaptive Subgradient Methods for Online Learning and Stochastic Optimization(http://www.magicbroom.info/Papers/DuchiHaSi10.pdf) AdaGradはAROWのように重みの更新を適応的に行うことが出来るほか、正則化のアルゴリズムと組み合わせることが出来るという利点があります。 このためFOBOSやRDAなどを用いたL1正則化によって特徴量を疎にすることが出来ます。今回はRDAと組み合わせたAdaGradをperlで実装しました。 RDAを用いた理由は上記論文でFOBOSよりも高性能だった
FOBOSを実装してみた(理論編) - Goto_youthKの徒然日記
■概要 利用可能な言語資源(Wikipedia, GSK Corpus, Google N-gram Corpusなど)が急激に拡大してきており、これに伴ってより多くの言語データを扱えるようになったことで統計的機械翻訳の翻訳精度は急激に上昇してきています。一方で，大量に保存されてきた言語資源を利用するデータマイニングなどで機械学習と呼ばれる技術が扱われるようになってきました。このような分野において、シンプルな線形識別モデルと凸最適化を組み合わせたオンライン学習により、大量のデータを利用した高速な学習と識別が可能になることが分かり、近年になって注目されるようになってきました。 ここでは、オンライン凸最適化アルゴリズムとして有名なFOBOSについて説明していきたいと思います。 ■はじめに そもそもこのブログを書こうと思ったきっかけは、大学の講義で 「オンライン凸最適化アルゴリズムの最近の手法(
L1-SGD
Stochastic Gradient Descent Training for L1-regularized Log-linear Models with Cumulative Penalty Yoshimasa Tsuruoka, Jun’ichi Tsujii and Sophia Ananiadou, ACL2009. 論文紹介．鶴岡さんのL1正則化付き確率的勾配降下法（Stochastic Gradient Descent，SGD）．L1正則化はコンパクトなモデルパラメタになってくれるので，実用上はとてもうれしい．しかし，0の点で微分できないので面倒だった．提案手法は実装が超簡単（擬似コードで20行くらい），超高速で，収束も早いし，性能もいい，いいこと尽くめ．初めての人にもお勧めできる簡単さで，しかもそのまま実用品になります． L1正則化は目的関数に重みベクトルのL1 normを
FOBOS
グローバル最適なIterative Closest Point(ICP)アルゴリズム”Go-ICP”についての解説です． ICPは有名なところではKinect Fusionなど，3次元点群のレジストレーションに広く用いられています．基本的には，最近傍点の対応付けと姿勢(並進と回転)の推定を順次繰り返していくことで，点群間の2乗誤差を最小にするような姿勢を見つけようとアルゴリズムです． ICPは原理上，点群間の姿勢がある程度離れると局所解に陥ってしまい正しくレジストレーションできないという課題があります． そこで，局所性を改善したアルゴリズム(SoftAssign など)や，ローカルな特徴(Spin Imageや4PCSなど)を用いて大域的にレジストレーションする手法など多様なアルゴリズムが提案されていますが，グローバル”最適”な点群のレジストレーションアルゴリズムはあまり提案されていません
FOBOSを使ってSVMやロジステック回帰を実装しよう!!! - yasuhisa's blog
原稿も出したし、次のネタのために論文読んでたけど全然分からないし(ダレカタスケテ!!!)、3連休だし、現実逃避したい!!!ということでFOBOSの論文を読んだりしていました。なんでFOBOSかっていうと、就活の面接のときに「SVMとか(使った、じゃなくって)実装したことがありますか?」と聞かれてNoとは答えられないので...とかいうのは嘘ですが、PFIのBlogでid:tkngさんがFOBOSを紹介する記事を書かれていたからでした*1。 劣微分を用いた最適化手法について(1) | Preferred Research 劣微分を用いた最適化手法について(2) | Preferred Research 劣微分を用いた最適化手法について(3) | Preferred Research 劣微分を用いた最適化手法について(4) | Preferred Research 劣微分を用いた最適化手法につい
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://www.mysmu.edu.sg/faculty/chhoi/libsol/libsol_manual.pdf