Jupyter Notebook Viewer
import numpy as np import matplotlib.pyplot as plt a = np.arange(-10, 10, 0.1) s = 1.0 / (1.0 + np.exp(-a)) plt.plot(a, s) plt.show() これは$(-\infty, \infty)$の区間の実数を$(0, 1)$に写像する関数なので，あるデータ点${\bf x}$を$f({\bf x}) = {\bf w}^{\rm T}{\bf x} + b$によって1次元に写像したあと，シグモイド関数に通した値$\sigma(f({\bf x}))$は，$(0,1)$の値をとる確率値であると考えることができるようになる． 今，データ点${\bf x}$にはラベルとして0か1のどちらかが対応しているとする．このとき，${\bf x}$のラベルが1である確率と0である確率は，そ
確率的勾配降下法とは何か、をPythonで動かして解説する - Qiita
勾配降下法は何に使う？ 勾配降下法は統計学や機械学習で多く使われています。特に機械学習というのは基本的に何かしらの関数を最小化（最大化）する問題を数値解析的に解くことに帰結する場合が多いです。（e.g. 最小二乗法 → 誤差の二乗和を最小化（参考）、ニューラルネットワークのパラメータ決定 etc...） なので、基本的にはひたすら微分して0となるところを探す問題ですね、微分して0。で、その微分して0となる値は何か、をプログラムで解く場合に重要になるのがこの勾配降下法です。幾つか勾配法にも種類がありますがここでは最急降下法、確率的勾配降下法の２つを扱います。まずはイメージをつかむために１次元のグラフで確認していきたいと思います。 1次元の場合 1次元の場合は、確率的という概念はなく、ただの勾配降下法になります。 （どういうことか、はのちほど） 1次元の例は、正規分布をマイナスにしたものを使っ
L1-SGD
Stochastic Gradient Descent Training for L1-regularized Log-linear Models with Cumulative Penalty Yoshimasa Tsuruoka, Jun’ichi Tsujii and Sophia Ananiadou, ACL2009. 論文紹介．鶴岡さんのL1正則化付き確率的勾配降下法（Stochastic Gradient Descent，SGD）．L1正則化はコンパクトなモデルパラメタになってくれるので，実用上はとてもうれしい．しかし，0の点で微分できないので面倒だった．提案手法は実装が超簡単（擬似コードで20行くらい），超高速で，収束も早いし，性能もいい，いいこと尽くめ．初めての人にもお勧めできる簡単さで，しかもそのまま実用品になります． L1正則化は目的関数に重みベクトルのL1 normを
AdaGradが学習率のスケジューリングを上手く調整してくれる理由 - 理論編 - - Qiita
1. はじめに 機械学習では、多くが目的関数(凸関数)を最適化する問題として定式化され、勾配・劣勾配をヒントとして逐次的に目的関数を下げていくわけです。その際、学習率のスケジューリングに頭を悩ませます。そこで、学習率のスケジューリングに関しAdaGrad[J.Duchi]と呼ばれる手法が有効である事が示されました。実装が容易という背景もあり、一気に広まりました。他にもAdaDelta, RMSProp, Adamなど有名で、Qiitaにも各種法を経験的に比較している投稿[1]があります。 ですので、本投稿では実装の話がありません。理論を整理します。なぜ、AdaGradの性能が良いかへの答えは、標準的なSGDよりタイトなRegret上限バウンドを理論的導出したためとなります。 以降で使用するAdaGradはComposite Mirror Descent \mathbf{x}_{t+1} =
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
kaggle-criteo/clf.py at master · kastnerkyle/kaggle-criteo
機械学習におけるオンライン確率的最適化の理論
Online Learning: Sentiment Analysis on Amazon Product Review Dataset with Logistic Regression via Stochastic Gradient Ascent in Python
https://courses.cs.washington.edu/courses/cse599s/14sp/kdd_2013_talk.pdf
