【決定版】スーパーわかりやすい最適化アルゴリズム -損失関数からAdamとニュートン法- - Qiita
オミータです。ツイッターで人工知能のことや他媒体で書いている記事など を紹介していますので、人工知能のことをもっと知りたい方などは気軽に@omiita_atiimoをフォローしてください！ 深層学習を知るにあたって、最適化アルゴリズム(Optimizer)の理解は避けて通れません。 ただ最適化アルゴリズムを理解しようとすると数式が出て来てしかも勾配降下法やらモーメンタムやらAdamやら、種類が多くあり複雑に見えてしまいます。 実は、これらが作られたのにはしっかりとした流れがあり、それを理解すれば 簡単に最適化アルゴリズムを理解することができます 。 ここではそもそもの最適化アルゴリズムと損失関数の意味から入り、最急降下法から最適化アルゴリズムの大定番のAdamそして二階微分のニュートン法まで順を追って 図をふんだんに使いながら丁寧に解説 していきます。 それでは早速最適化アルゴリズムとは何
MIRU2014 tutorial deeplearning
Semi supervised, weakly-supervised, unsupervised, and active learningYusuke Uchida
畳み込みニューラルネットワークとは？ - 画像処理とか機械学習とか
畳み込みニューラルネットワーク 今回は、Deep Learningのうち、近年画像の分野でどこの学会に行っても聞かないことはない畳み込みニューラルネットワーク（Convolutional Neural Network：CNN）について紹介したいと思います。 この記事は以前紹介した記事の続きとなります。 Deep Learningの基礎の基礎を知りたい方は以下のリンクから。 hiro2o2.hatenablog.jp 深層ニューラルネットワークでは、誤差逆伝播学習という学習手法によって、特徴量の学習が可能となりました。このような学習手法によって様々な問題への応用が可能となったが、層の数を増やすほど誤差伝播学習での学習が勾配消失問題などにより難しくなっていくという問題があります。 畳み込みとは 層が多いネットワークの学習をうまく行うためのアイディアとしてあらかじめ、解きたい問題に対して結合をあ
誤差逆伝播法をはじめからていねいに - Qiita
はじめに この記事は、私が機械学習、特に「誤差逆伝播法」 (あるいは「バックプロパゲーション (Backpropagation)」) を勉強するうえで辿った道筋を記録しておくものです。 誤差逆伝播法に関する分かりやすい解説は、ここ Qiita にも多数存在しますので、正直 $n$ 番煎じなところがありますが、あくまで記録ですのでここは 1 つ。 「記録」というには長過ぎてイマイチ感溢れてますが、そこは気にしないでください。これでも要点をしぼったつもりなのです… ゆっくりしていってね！！！ 途中の数式について 記事の前後から参照されている数式については右側に番号を振っています。 初回記載時は $\text{(1)}$ とかっこ付き数字で、2 回目以降記載時は $\text{[1]}$ と角かっこ付き数字で示します。記載済みの数式を変形したものについては $\text{(1')}$ とプライム
誤差逆伝播法を宇宙一わかりやすく解説してみる
さて，クリスマスですね．各分野で行われているアドベントカレンダーも最終日です． 恐縮ながら，最も購読者数の多い，機械学習に必要な高校数学やり直しアドベントカレンダー Advent Calendar 2016を締めくくらせていただこうと思います． ラストに相応しい記事として，機械学習に必要な高校数学をやり直した後で ニューラルネットワークの学習手順を理解してみようという内容にしてみました 実際に高校生に教えてみて理解してきただけた内容なので，1つ1つみていけば決して難しくないはずです． また，これは前回の記事の前提知識が必要となります． 今回はかなり噛み砕いて説明を行なっています．そのため，専門に機械学習を学ばれてる方からすると違和感を感じる表現があるかもしれません，ご了承ください． 私が教えた高校生のスペック 「高校生に教えてみた」という記事ですが，どのレベルの高校生かをはじめに明確にして
高卒でもわかる機械学習 (5) 誤差逆伝播法 その1
はじめに 多層パーセプトロンの重みを更新する理論について解説します。 更新すべき重みがたくさんあるので単純パーセプトロンより難しいですが、ここがわかると近年流行したディープラーニングを理解するための基本ができあがります。 ただし、結構長いので、「理論はざっくりでいいから最終的に使える重み更新式が知りたい」という人は、別のサイトや本を読むのをお勧めします。 なお、記事中で使われる各種記号の定義は前回やりましたので、わからなくなったらそちらを参照してください。 数学の前知識 今回は数式がけっこう出てきます。 そこで必要な数学知識について、いくつか説明を書いておきます。 簡単のため前提条件を少し省略しているので、数学的に厳密ではない箇所はご容赦ください。 偏微分 偏微分は以前の記事でも出てきましたが、僕が誤解してまして、高校数学の範囲には含まれていないようでした。 そんなに難しいことではなく、複
誤差逆伝播法のノート - Qiita
はじめに ※）「目標関数」をより一般的な名称である「損失関数（Loss Function）」表記に改めました．(2015Oct19) 誤差逆伝播法（以下，Backprop）は多層パーセプトロンを使う人にとってお馴染みのアルゴリズムですよね． いや，これだけ有名なアルゴリズムなのでちょっとネットで探してみれば沢山解説を見つけることが出来るのですが，Backpropを予測誤差の最小化に適用する場合の説明しかみつからないんです．（とはいえ，PRMLをちゃんと読めば全部載ってるんですが）. Backpropでできることは何なのか？ ということがあまり明らかではありませんでした． 大学の講義や教科書でのBackpropの説明はほとんど，「教師あり学習の文脈で多層パーセプトロンを識別器あるいは関数近似器として訓練する」という文脈でなされます．そのため，初学者はBackpropは教師あり学習のためのアル
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
