ラグランジュの未定乗数法を実例で理解する - Qiita
Wikipediaが詳しいです（ラグランジュの未定乗数法）。 ざっくり概要は、束縛条件がある場合に式の最適化をする方法です。 式で表すと、ある式$f(x,y,z)$があってその極値を求めたいけれど、条件として$g(x,y,z)=0$となるように$x,y,z$を選ばないと行けないという状況です。 計算方法 極値を求めたい式$f(x,y,z)$と、束縛条件$g(x,y,z)$がある場合に、新たな式
機械学習における 劣モジュラ性の利用
機械学習における 劣モジュラ性の利用 大阪大学 産業科学研究所 河 原 吉 伸 Email : kawahara@ar.sanken.osaka-u.ac.jp URL : www.ar.sanken.osaka-u.ac.jp/~kawahara/ 発表の流れ 機械学習に現れる組み合わせ問題 劣モジュラ性とは？ 劣モジュラ性の定義，劣モジュラ関数の例 劣モジュラ最適化の分類 劣モジュラ最小化・最大化の機械学習における例 劣モジュラカット法*)の紹介 まとめ 2 Y. Kawahara, K. Nagano, K. Tsuda and J. Bilmes (2009): “Submodularity cuts and applications”, Advances in Neural Information Processing Systems 22, pp.
Argmax Operations in NLP
1. 自然言語処理における argmax 操作 NISHIKAWA Hitoshi NISHIKAWA Hitoshi 2011/07/23 DSIRNLP #1 1 2. 目的 • NLP タスクの全体像をご説明差し上げ、ご理解いた タ ク 全体像をご説 差 上げ ご理解 た だき、皆様の学習の一助とする – NLP とは何ぞや – 他の分野との関係 – 構成要素、 NLP の世界観 • NLP タスクのうち、特に argmax 操作（デコード）と呼 g ばれる操作についてお話差し上げ、モデル開発の 一助とする 2011/07/23 DSIRNLP #1 2 3. 目次 概 分 1. NLPの概要(10分) 1. 他分野との関係、 NLP の諸技術(5分) 他分野 関係、 諸技術( 分) 2. モデル、パラメタ、デコード(5分) 2. デコード(30分) 2 デコ ド(30分) 1. 近
High Dimensional Expectation-Maximization Algorithm: Statistical Optimization and Asymptotic Normality
We provide a general theory of the expectation-maximization (EM) algorithm for inferring high dimensional latent variable models. In particular, we make two contributions: (i) For parameter estimation, we propose a novel high dimensional EM algorithm which naturally incorporates sparsity structure into parameter estimation. With an appropriate initialization, this algorithm converges at a geometri
Fast algorithms for online stochastic convex programming - Microsoft Research
We introduce the online stochastic Convex Programming (CP) problem, a very general version of stochastic online problems which allows arbitrary concave objectives and convex feasibility constraints. Many well-studied problems like online stochastic packing and covering, online stochastic matching with concave returns, etc. form a special case of online stochastic CP. We present fast algorithms for
Communication-Efficient Distributed Optimization of Self-Concordant Empirical Loss - Microsoft Research
We consider distributed convex optimization problems originated from sample average approximation of stochastic optimization, or empirical risk minimization in machine learning. We assume that each machine in the distributed computing system has access to a local empirical loss function, constructed with i.i.d. data sampled from a common distribution. We propose a communication-efficient distribut
AdaDeltaを試す - Negative/Positive Thinking
はじめに 勉強会で、学習率を改善(自動調整)する事で学習時間を短縮し、ファンタジスタドールを見る時間を多く確保できる事が示されていた。 AdaGrad等をさらに改良したらしいAdaDeltaがあるようなので、ロジスティック回帰に適用してみた。 AdaDeltaとは M. D. Zeiler, ADADELTA: AN ADAPTIVE LEARNING RATE METHOD http://www.matthewzeiler.com/pubs/googleTR2012/googleTR2012.pdf 学習率を自動調整する方法の一つ 他の関連手法の問題点等を改良 過去すべての勾配を考慮→直近の勾配だけを考慮したいので、指数関数的に減衰するように考慮 グローバルな学習率を指定→second order methodsの特性を持つように、パラメータの変化について直近のパラメータの変化から計算し
ラグランジュ関数の背後にある理論 (Boyd本5章概要) - うどん記
ラグランジュ関数は以下のような形をした制約付き最適化問題を解くために導入される有名な手法です． $\min_{x \in D} f_0(x),$ $\mbox{subject to}$ $f_i(x) \le 0$ $(i=1,2,...,m)$ $h_i(x) = 0$ $(i=1,2,...,p)$ ここで，$D \subseteq \mathbb{R}^n$ は目的関数の定義域で， $f_0,f_1,\cdots,f_m, h_1, \cdots, h_p: D \rightarrow \mathbb{R}$ は任意の関数． この記事では "Convex Optimization" (by Boyd and Vandenberghe) の5章 "Duality" の項を元に，ラグランジュ関数とその背後にある理論について記します．主に記したことは以下のとおりです． ラグランジュ関数の定
自然言語処理のための機械学習入門１章
ICML 読み会で iSVM を紹介したときの資料です。 発表中に見つけた間違いは修正していますが、いろいろ不足していることがわかった部分の補足はまだしてません。
最適化超入門
本スライドは、弊社の梅本により弊社内の技術勉強会で使用されたものです。 近年注目を集めるアーキテクチャーである「Transformer」の解説スライドとなっております。 "Arithmer Seminar" is weekly held, where professionals from within and outside our company give lectures on their respective expertise. The slides are made by the lecturer from outside our company, and shared here with his/her permission. Arithmer株式会社は東京大学大学院数理科学研究科発の数学の会社です。私達は現代数学を応用して、様々な分野のソリューションに、新しい高度AIシステム
stochastic average gradientな話 - Stimulator
//---はじめに--- こんにちは。Machine Learning Advent Calendar 2013の11日目を担当することになりました@vaaaaanquishです。今回は大学で研究している進捗としてstochastic average gradient(SAG)についてまとめていきたいと思います。「前年度も誰かがやってたような･･･」と思った方はきっと記憶違いです。よろしくお願いします。 //---SAG--- SAGはNIPS2012で発表*1されたオンラインアルゴリズム最適化手法の一つです。その名の通り更新時に確率的勾配の「Average」を取るアルゴリズムです。このような平均化されたアルゴリズムは、averaged stochastic gradient descent*2やSample Average Approximation*3のように昔から数多くの研究が行われ
関数の最大・最小化 - RjpWiki
RjpWiki はオープンソースの統計解析システム R に関する情報交換を目的とした Wiki です汎用最適化関数 optim() の使用法 統計学では、最尤推定や最小自乗法等、ある目的関数の最適化を行なう必要が しばしば起こる。optim() は R の汎用最適化関数で、複数の代表的手法をオプションで選べる便利な道具である。 一変数関数専用の最適化関数 optimize もある。 線形不等式制約の場合は 線形不等式制約付きの最適化関数 constrOptim 参照。 同種の関数として 汎用非線形最小化関数 nlm もある。 一変数関数の根を求める専用関数 uniroot もある。 非線形回帰専用の関数 nls は独自の最適化アルゴリズムを使用する。 命令書式 optim(par, fn, gr = NULL, method = c("Nelder-Mead", "BFGS", "CG",
RecSys2013のBestPaperを読む_Fast_Parallel_SGD - 分からんこと多すぎ
RecSys 2013 (Hong Kong) - RecSysのbest paperが、なんだか面白そうだったので読む。 A Fast Parallel SGD for Matrix Factorization in Shared Memory Systems 著：Yong Zhuang, Wei-Sheng Chin, Yu-Chin Juan, and Chih-Jen Lin 本論文自体は、Matrix FactorizationのためのSGDの拡張である点が、他の論文とは違うらしい。 序論は確率的勾配降下法（SGD）の並列化について - 分からんこと多すぎに書いたので、本文の3章（SGDの並列化に関する諸問題）からになる。 また結論から言うと、計算速度は従来手法の十倍程度になる。 ただし、プログラミング上のテクニック的な話なので、理論とかあんまりない。 勉強になるし実用的で、企業
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://www.logos.t.u-tokyo.ac.jp/~hassy/deep_learning/adagrad/
Visualizing Optimization Algos
http://www.icml-2011.org/papers/231_icmlpaper.pdf