MLPシリーズ「ベイズ深層学習」概要まとめ - 作って遊ぶ機械学習。
今回は８月に出版した講談社機械学習プロフェッショナルシリーズの「ベイズ深層学習」の概要を書いてみます． www.kspub.co.jp 講談社のページ等では目次は載っていますが，それより詳細な情報はネットにはないので，もう少しだけ踏み込んだ内容をここで紹介することにします． 内容紹介 第1章 はじめに ベイズ統計と深層学習（ディープラーニング）は仲が悪いように世間的には見られがちですが，実は両者は非常に親和性が高いことを解説しています． 両分野のそれぞれの利点としては，ベイズ統計ではモデルの高い解釈性や設計の明確さ，深層学習ではGPUなどを用いた大規模データの効率的な計算方法等を挙げることができます．これらの利点は相補的であり，組み合わせることによってアルゴリズムの改善が期待できます． また，両分野には共通点もあります．深層学習ではタスクごとにネットワーク構造を設計する必要性がありますが，
線形回帰を１つ１つ改造して変分オートエンコーダ（VAE）を作る - 作って遊ぶ機械学習。
こんばんは． 今日は統計や機械学習において最も基本となる手法である線形回帰から出発し，１つ１つモデルや学習方法に変更を加えていき，最終的に深層学習の分野で非常に良く使われている生成モデルである変分オートエンコーダ（variational auto-encoder，VAE）*1*2を導いていきたいと思います． 2014年に発表されたVAEは，勾配近似を得るためのreparametrization trickや，効率的に潜在変数を近似推論する認識モデル（recognition model, inference model）の導入，確率的勾配法（stochastic gradient descent，SGD）の2重適用など，様々なアイデアが散りばめられている確率的生成モデルです．背景としては，当時ニューラルネットワークを用いて画像を生成するといったアプローチが（CNNを使った識別などと比べて）そ
深層学習はガウス過程 - 作って遊ぶ機械学習。
おつかれさまです． 僕はあまり深層学習に関して記事を書くことはないのですが，ちょっと気になった論文があったので紹介します． [1711.00165] Deep Neural Networks as Gaussian Processes 論文はGoogle Brainの研究者らによるもので，NIPS2017 Bayesian Deep Learning WorkshopICLR2018にacceptされています．実は深層学習をガウス過程（Gaussian process）で構築するのはこの論文が初出ではないのですが，論文ではベイズ学習，深層学習，カーネル法を簡略かつ包括的に説明している内容になっているので非常に参考になります． さて，「深層学習はガウス過程」というのはちょっぴり宣伝的なタイトルにし過ぎてしまったのですが，もう少しだけ正確に論文の要点をまとめると次のようになります． 背景 単一
変分ベイズを使って変化点検知をしてみる - 作って遊ぶ機械学習。
おつかれさまです．今回は簡単なメッセージ受信数のデータを使って，変分ベイズによる変化点検知をやってみたいと思います．なお，今回使うデータやモデルは下記のPyMCの入門書を参考にしています*1. Pythonで体験するベイズ推論-PyMCによるMCMC入門-キャメロン-デビッドソン-ピロン この本では推論にMCMCを使っていますが，今回はモデルはそのまま流用し，同じことを実現する変分ベイズによる近似推論を導いてみます． 一般的には変分ベイズの方が計算が高速なので，MCMCの性能に満足できない場合などは変分ベイズは良い代替手法になり得ます．また，今回紹介する例は，過去に紹介した混合モデルを使った例よりも比較的シンプルですので，変分ベイズの入門題材にはちょうど良いんじゃないかと思っています． MCMCによる変化点検知 ・メッセージ受信データ PyMC本では次のような「ある期間で受信したメール数」
グラフィカルモデルを使いこなす！～有向分離の導入と教師あり学習～ - 作って遊ぶ機械学習。
さて、前回はグラフィカルモデルの描き方と簡単な事後確率の推論をやってみました。今回以降は、下記のようなもう少し現実的な確率モデルに対する推論をグラフィカルモデル上でやってみる予定です。 ・教師あり学習（今回） ・半教師あり学習 ・共変量シフト ・転移学習 ・潜在変数モデル（EMアルゴリズム） 今回は導入として、有向分離（D-separation）と呼ばれる、より複雑なモデルに対する確率変数の独立性をチェックするための手法を紹介します。これを使って、教師あり学習である回帰モデルや識別モデル（2つともグラフィカルモデル上の区別はないです）に対する推論結果がどうなるかを見てみたいと思います。 今回やることも基本的には前回の３つのノードを使った単純なグラフィカルモデルと同じです。 machine-learning.hatenablog.com あるグラフィカルモデルが与えられ、さらに一部のノードが
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
