応用範囲が広く幅広い視点からの説明になりがちなベイズ最適化について、本記事では機械学習のハイパーパラメータ探索に利用することに限定して解説します。 1. はじめに 最近、ベイズ最適化という手法が注目を集めています。 ベイズ最適化 (Bayesian Optimization) とは、形状がわからない関数 (ブラックボックス関数) の最大値 (または最小値) を求めるための手法です。 ベイズ最適化についての入門記事は Web 上にすでにいくつかありますが、ベイズ最適化は応用範囲が広く、入門記事は様々な応用に向けた幅広い視点からの説明になりがちです。 本記事では、機械学習ユーザに向けて、ベイズ最適化を機械学習のハイパーパラメータ探索に利用することに限定して説明します。 これにより、機械学習に対して、ベイズ最適化がどのように利用できるのかを分かりやすく解説したいと思います。 2. ハイパーパラメ

Deep Convolutional Generative Adversarial Networks - Nextremer勉強会資料tm_2648

[Survey]Generative Image Modeling using Style and Structure Adversarial NetworksDeepLearning Generative Image Modeling using Style and Structure Adversarial Networks DCGANで室内シーンのGenerative Modelを学習する問題に対し、従来より結果がRealかつ、高解像度かつ、結果が安定するように拡張を加えた論文です。 拡張の方向性としては以下の通りです。 1. GANに入れるuniform noise データに加えてSurface Normalデータを入れる(Style-GAN) 2. surface normalデータは別のGANにより生成する(Structure-GAN) 3. さらにStyle-GANのGene

PFIセミナー(2016/02/25)で発表したスライドです。伝承サンプリング可能な生成モデルに関するDeep Learningの紹介です（キーワード：Wake-Sleep, 変分 AutoEncoder, Generative Adversarial Nets, Likelihood Ratio）

最近趣味で機械学習の勉強をしていて、中でもDeep Learningに興味を持って取り組んでいたので、備忘録としてブログにまとめておきます。 はじめに 本稿の目的は Deep Learning で実際に画像識別を行う Deep Leraning の特性を理解する（性能向上について考察を行う） の2点です。Deep Learningの概要・アルゴリズムについてはあまり触れません。ニューラルネットやDeep Learningについて参考にした書籍・Webサイトは以下の通りです。 書籍 深層学習(機械学習プロフェッショナルシリーズ) Python機械学習プログラミング 達人データサイエンティストによる理論と実践 データサイエンティスト養成読本 機械学習入門編 初めてのディープラーニング --オープンソース"Caffe"による演習付き はじめてのパターン認識 Web 初心者でも今すぐ機械学習・ディ

畳み込みニューラルネットワーク 今回は、Deep Learningのうち、近年画像の分野でどこの学会に行っても聞かないことはない畳み込みニューラルネットワーク（Convolutional Neural Network：CNN）について紹介したいと思います。 この記事は以前紹介した記事の続きとなります。 Deep Learningの基礎の基礎を知りたい方は以下のリンクから。 hiro2o2.hatenablog.jp 深層ニューラルネットワークでは、誤差逆伝播学習という学習手法によって、特徴量の学習が可能となりました。このような学習手法によって様々な問題への応用が可能となったが、層の数を増やすほど誤差伝播学習での学習が勾配消失問題などにより難しくなっていくという問題があります。 畳み込みとは 層が多いネットワークの学習をうまく行うためのアイディアとしてあらかじめ、解きたい問題に対して結合をあ

Semi supervised, weakly-supervised, unsupervised, and active learningYusuke Uchida

はじめに ※）「目標関数」をより一般的な名称である「損失関数（Loss Function）」表記に改めました．(2015Oct19) 誤差逆伝播法（以下，Backprop）は多層パーセプトロンを使う人にとってお馴染みのアルゴリズムですよね． いや，これだけ有名なアルゴリズムなのでちょっとネットで探してみれば沢山解説を見つけることが出来るのですが，Backpropを予測誤差の最小化に適用する場合の説明しかみつからないんです．（とはいえ，PRMLをちゃんと読めば全部載ってるんですが）. Backpropでできることは何なのか？ ということがあまり明らかではありませんでした． 大学の講義や教科書でのBackpropの説明はほとんど，「教師あり学習の文脈で多層パーセプトロンを識別器あるいは関数近似器として訓練する」という文脈でなされます．そのため，初学者はBackpropは教師あり学習のためのアル

(編注：2020/10/01、2016/07/29、いただいたフィードバックをもとに記事を修正いたしました。) 目次： さまざまな勾配降下法 バッチ勾配降下法 確率的勾配降下法 ミニバッチ勾配降下法 課題 勾配降下法を最適化するアルゴリズム Momentum(慣性) Nesterovの加速勾配降下法 Adagrad Adadelta RMSprop Adam アルゴリズムの可視化 どのオプティマイザを選ぶべき？ SGDの並列化と分散化 Hogwild! Downpour SGD SGDのための遅延耐性アルゴリズム TensorFlow Elastic Averaging SGD 最適化されたSGDに対する更なる戦略 シャッフル学習とカリキュラム学習 バッチ正規化 早期終了 勾配ノイズ 結論 参考文献 勾配降下法は、最適化のための最も知られたアルゴリズムの1つです。これまではニューラルネット

移転しました。 https://chezo.uno/post/2016-05-29-sonomoderu-guo-xue-xi-siteruno-wei-xue-xi-nano-tokun-tutara/