深層学習はガウス過程 - 作って遊ぶ機械学習。
おつかれさまです． 僕はあまり深層学習に関して記事を書くことはないのですが，ちょっと気になった論文があったので紹介します． [1711.00165] Deep Neural Networks as Gaussian Processes 論文はGoogle Brainの研究者らによるもので，NIPS2017 Bayesian Deep Learning WorkshopICLR2018にacceptされています．実は深層学習をガウス過程（Gaussian process）で構築するのはこの論文が初出ではないのですが，論文ではベイズ学習，深層学習，カーネル法を簡略かつ包括的に説明している内容になっているので非常に参考になります． さて，「深層学習はガウス過程」というのはちょっぴり宣伝的なタイトルにし過ぎてしまったのですが，もう少しだけ正確に論文の要点をまとめると次のようになります． 背景 単一
機械学習のハイパーパラメータ探索 : ベイズ最適化の活用 | TECHSCORE BLOG | TECHSCORE BLOG
こんにちは、岡崎です。 この記事は TECHSCORE Advent Calendar 2016 の 20 日目の記事です。 先日、IBISML2016(第19回情報論的学習理論ワークショップ) のチュートリアルに参加しました。 その中で「ベイズ最適化による機械学習のハイパーパラメータチューニング」という内容が面白かったので紹介します*1。 ハイパーパラメータ・チューニング 機械学習モデルの学習においては、良いモデルを作るためにハイパーパラメータ(外部から与えるモデルのパラメータ)のチューニングが必須です。 目的の精度や汎化性能をもとめて、モデルの学習を繰り返し最適なハイパーパラメータを探索するのですが、選択するアルゴリズムやデータ量、計算環境によっては一回の試行が数時間に及ぶこともあり、効率よく探索することが大事になります*2。 従来よりハイパーパラメータのチューニングでは「グリッドサー
ベイズ推論による機械学習の基本 - 作って遊ぶ機械学習。
今回は基本的なベイズ学習の概念と流れを説明したいと思います。まず始めに、ベイズ学習のすべての基本となる２つの計算規則（和の規則、積の規則）を取り上げます。また、ベイズ学習に関わるややこしい用語たち（データ、尤度関数、事前分布、事後分布、エビデンス、予測分布、などなど）に関しても念のためここで整理しておきたいと思います。そして最後に、簡単な多次元のガウス分布とウィシャート分布を使ったベイズ推論の例を取り上げ、それぞれの用語や概念との具体的な結びつきについて触れたいと思っています。 ・ベイズ学習の基本概念 さて、確率モデルを使ったベイズ推論を行う上で最小限必要なのは次のたった２つの計算ルールです。 <和の規則> <積の規則> は同時分布（joint distribution）、は条件付き分布（conditional distribution）と呼ぶんでした。極端な言い方をしてしまうと、ベイズ推
ややこしい離散分布に関するまとめ - 作って遊ぶ機械学習。
今回は離散分布（discrete distribution）の代表格である多項分布（multinomial distribution）や、その共役事前分布であるディリクレ分布（Dirichlet distribution）との関係性や計算方法を整理したいと思います。 離散分布というと、本来はポアソン分布（Poisson distribution）なども含めた離散値を出力するような分布全般のこと指します。しかし実際に論文などを読んでいると、くじ引きのように単純に出目の比率が与えられたような分布を離散分布と名付けてしまっている場合もよく見られます。まぁ文脈的に誤解を招くことはあまりないと思うのですが、くじ引きの分布をもっとキッチリ表現するなら、複数あるカテゴリーから１つを抽出するという意味でカテゴリカル分布（categorical distribution）と呼ぶのが適切かと思います。あるいは
CodeIQについてのお知らせ
2018年4月25日をもちまして、 『CodeIQ』のプログラミング腕試しサービス、年収確約スカウトサービスは、 ITエンジニアのための年収確約スカウトサービス『moffers by CodeIQ』https://moffers.jp/ へ一本化いたしました。 これまで多くのITエンジニアの方に『CodeIQ』をご利用いただきまして、 改めて心より深く御礼申し上げます。 また、エンジニアのためのWebマガジン「CodeIQ MAGAZINE」は、 リクナビNEXTジャーナル( https://next.rikunabi.com/journal/ )に一部の記事の移行を予定しております。 今後は『moffers by CodeIQ』にて、 ITエンジニアの皆様のより良い転職をサポートするために、より一層努めてまいりますので、 引き続きご愛顧のほど何卒よろしくお願い申し上げます。 また、Cod
ベイズ統計の入門書が出版ラッシュなのでまとめてみた - ほくそ笑む
【宣伝】2016/09/14 このページに来た方へ。あなたが求めている本はこれです。 StanとRでベイズ統計モデリング (Wonderful R) 作者: 松浦健太郎,石田基広出版社/メーカー: 共立出版発売日: 2016/10/25メディア: 単行本この商品を含むブログ (10件) を見るまずこれを予約してから下記を読むといいです。 【宣伝終】 最近、ベイズ統計の入門書がたくさん出版されているので、ここで一旦まとめてみようと思います。 1. 基礎からのベイズ統計学: ハミルトニアンモンテカルロ法による実践的入門 (2015/6/25) 基礎からのベイズ統計学: ハミルトニアンモンテカルロ法による実践的入門 作者: 豊田秀樹出版社/メーカー: 朝倉書店発売日: 2015/06/25メディア: 単行本この商品を含むブログ (6件) を見る データ分析業界ではかなり有名な豊田秀樹先生の本です
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
機械学習のためのベイズ最適化入門