勾配降下法の最適化アルゴリズムを概観する | POSTD
(編注：2020/10/01、2016/07/29、いただいたフィードバックをもとに記事を修正いたしました。) 目次： さまざまな勾配降下法 バッチ勾配降下法 確率的勾配降下法 ミニバッチ勾配降下法 課題 勾配降下法を最適化するアルゴリズム Momentum(慣性) Nesterovの加速勾配降下法 Adagrad Adadelta RMSprop Adam アルゴリズムの可視化 どのオプティマイザを選ぶべき？ SGDの並列化と分散化 Hogwild! Downpour SGD SGDのための遅延耐性アルゴリズム TensorFlow Elastic Averaging SGD 最適化されたSGDに対する更なる戦略 シャッフル学習とカリキュラム学習 バッチ正規化 早期終了 勾配ノイズ 結論 参考文献 勾配降下法は、最適化のための最も知られたアルゴリズムの1つです。これまではニューラルネット
AutoML チュートリアル（HPOとNAS）
AutoMLに関するチュートリアル資料です。主に，ハイパーパラメータ最適化（HPO）とニューラル構造探索（NAS）に関する説明をしています。
Optuna - A hyperparameter optimization framework
A simple optimization problem: Define objective function to be optimized. Let's minimize (x - 2)^2 Suggest hyperparameter values using trial object. Here, a float value of x is suggested from -10 to 10 Create a study object and invoke the optimize method over 100 trials import optuna def objective(trial): x = trial.suggest_float('x', -10, 10) return (x - 2) ** 2 study = optuna.create_study() study
Fast and Scalable Bayesian Deep Learning by Weight-Perturbation in Adam
Uncertainty computation in deep learning is essential to design robust and reliable systems. Variational inference (VI) is a promising approach for such computation, but requires more effort to implement and execute compared to maximum-likelihood methods. In this paper, we propose new natural-gradient algorithms to reduce such efforts for Gaussian mean-field VI. Our algorithms can be implemented w
Visualizing the Loss Landscape of Neural Nets
Neural network training relies on our ability to find "good" minimizers of highly non-convex loss functions. It is well-known that certain network architecture designs (e.g., skip connections) produce loss functions that train easier, and well-chosen training parameters (batch size, learning rate, optimizer) produce minimizers that generalize better. However, the reasons for these differences, and
勾配法は本当に鞍点近傍にはまるのか？モース理論で考えてみる - Qiita
TL;DR 勾配法はほとんどのケースで極小点に収束する（鞍点には収束しない） この事実は力学系や最適化の分野ではよく知られているが，機械学習では新しい？ 数年前にバズった勾配法の比較動画は実際の学習現象を説明できていないかも 鞍点の近傍での振舞いで差がつく？ いや，そもそも鞍点近傍に流れ込まないかも 比較動画に登場した鞍点は，実際にはまず生じないタイプかも 機械学習にも役立つモース理論 ほとんどすべての関数はモース関数 モース関数の臨界点のタイプはわずか $d+1$ 種類（$d$ は定義域次元） 安定/不安定多様体とモース・スメール複体で勾配法の流れは分かる Monkey saddleはまず現れない（もし現れても簡単に消せる） 量的な問題に関しては，結局は実験するしかない この記事を書いたきっかけ 昨夜，ある論文を見かけて，ふとこんなツイートをした． ML業界，「勾配法が鞍点に収束する確率
最適化手法について—SGDからYellowFinまで— | moskomule log
はじめに 前回の記事に，「ベンチマーク函数があるよ」というフィードバックを頂きました．test functions for optimizationというWikipediaの記事にまとまっていたので，今回はこちらにあるRosenbrock function($f_{R}=100(y-x^2)^2+(x-1)^2$,大域解$f_{R}(1,1)=0$)を使います．Rosenbrock函数には大域解を含む広い濠があって大域解が見つけにくいのが特徴です． 一般に勾配法の更新方法はバッチ更新と呼ばれます．つまり勾配降下法であれば学習事例$n=1,2,\ldots,N$に対して個々の誤差函数$E_n$の和 \[E(x)=\sum_n E_n(x)\] について$x\gets x-\alpha\nabla E$と更新していました． 確率的な(stochastic)では$n\in\{1,\ldots,N
Efficiency of quantum versus classical annealing in non-convex learning problems
Quantum annealers aim at solving non-convex optimization problems by exploiting cooperative tunneling effects to escape local minima. The underlying idea consists in designing a classical energy function whose ground states are the sought optimal solutions of the original optimization problem and add a controllable quantum transverse field to generate tunneling processes. A key challenge is to ide
東京工業大学 情報理工学院 数理・計算科学系
大岡山地区の建物 大学正門より，桜並木のウッドデッキを通り，右手の芝生をつっきる小径が西8号館，西7号館に続くみちです． 大岡山西8号館（Ｅ棟，Ｗ棟）: キャンパスマップの18, 19番の建物にあたります．本館の西隣りに位置しています．正面玄関をはいったところは３階です． Ｅ棟においでの方は廊下をはいってすぐ左手のエレベータをご利用下さい． Ｗ棟にはじめておいでの方は十分に注意して下さい．Ｅ棟とＷ棟を繋いでいる通路は３階と１０階にしかありません．Ｅ棟のエレベータを利用すると迷子になります．正面玄関から廊下をまっすぐにおいでになり，奥の右手にあるエレベータをご利用下さい． 西7号館：キャンパスマップの17番の建物にあたります．西8号館から，建物を二つ挟んだ並びにあります．芝生から向う場合，左手に本館を見ながら進み，本館がとぎれたあたりの右手にある小さな建物が西7号館です．橋を渡ってはいったと
ADMM
The alternating direction method of multipliers (ADMM) is an algorithm that solves convex optimization problems by breaking them into smaller pieces, each of which are then easier to handle. It has recently found wide application in a number of areas. On this page, we provide a few links to to interesting applications and implementations of the method, along with a few primary references. ADMM is
Why Momentum Really Works
We often think of Momentum as a means of dampening oscillations and speeding up the iterations, leading to faster convergence. But it has other interesting behavior. It allows a larger range of step-sizes to be used, and creates its own oscillations. What is going on? Here’s a popular story about momentum [1, 2, 3]: gradient descent is a man walking down a hill. He follows the steepest path downwa
How to Escape Saddle Points Efficiently
This paper shows that a perturbed form of gradient descent converges to a second-order stationary point in a number iterations which depends only poly-logarithmically on dimension (i.e., it is almost "dimension-free"). The convergence rate of this procedure matches the well-known convergence rate of gradient descent to first-order stationary points, up to log factors. When all saddle points are no
Semi-Stochastic Gradient Descent Methods
In this paper we study the problem of minimizing the average of a large number ($n$) of smooth convex loss functions. We propose a new method, S2GD (Semi-Stochastic Gradient Descent), which runs for one or several epochs in each of which a single full gradient and a random number of stochastic gradients is computed, following a geometric law. The total work needed for the method to output an $\var
Minimizing Quadratic Functions in Constant Time
Authors Kohei Hayashi, Yuichi Yoshida Abstract A sampling-based optimization method for quadratic functions is proposed. Our method approximately solves the following $n$-dimensional quadratic minimization problem in constant time, which is independent of $n$: $z^*=\min_{\bv \in \bbR^n}\bracket{\bv}{A \bv} + n\bracket{\bv}{\diag(\bd)\bv} + n\bracket{\bb}{\bv}$, where $A \in \bbR^{n \times n}$ is a
株式会社NTTデータ数理システム
読み：かくりつてきこうばいこうかほう 英名：Stochastic Gradient Descent 関連：近接勾配法，ビッグデータ 確率的勾配降下法（Stochastic Gradient Descent，以下 SGD）は確率密度関数 $p(z)$ に対して目的関数が期待値で表された以下のような最適化問題に対して有効なアルゴリズムである． $$ \min L(w) = \displaystyle\int{l(w,z)p(z)dz}. $$ 上式における $l,w,z$ をそれぞれ損失関数，モデルパラメータ，データに対応する確率変数の実現値とすれば，上記問題は機械学習における期待損失（汎化誤差）の最小化問題に他ならない．そこで，関数 $L(w)$ は期待損失と呼ぶことにする．期待損失の値やその勾配 $\nabla L(w)$ はいくつかの理由により計算困難である場合が多い．例えば分布 $p(
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
最优传输理论与计算 ——雷娜 顾险峰 - 脉脉
https://www.math.chuo-u.ac.jp/ENCwMATH/EwM63resume.pdf
skopt API documentation
Reddit - Dive into anything
http://arxiv.org/pdf/1301.3584