タグ

ブックマーク / machine-learning.hatenablog.com (3)

  • 深層学習はガウス過程 - 作って遊ぶ機械学習。

    おつかれさまです. 僕はあまり深層学習に関して記事を書くことはないのですが,ちょっと気になった論文があったので紹介します. [1711.00165] Deep Neural Networks as Gaussian Processes 論文はGoogle Brainの研究者らによるもので,NIPS2017 Bayesian Deep Learning WorkshopICLR2018にacceptされています.実は深層学習をガウス過程(Gaussian process)で構築するのはこの論文が初出ではないのですが,論文ではベイズ学習,深層学習,カーネル法を簡略かつ包括的に説明している内容になっているので非常に参考になります. さて,「深層学習はガウス過程」というのはちょっぴり宣伝的なタイトルにし過ぎてしまったのですが,もう少しだけ正確に論文の要点をまとめると次のようになります. 背景 単一

    深層学習はガウス過程 - 作って遊ぶ機械学習。
  • 変分ベイズを使って変化点検知をしてみる - 作って遊ぶ機械学習。

    おつかれさまです.今回は簡単なメッセージ受信数のデータを使って,変分ベイズによる変化点検知をやってみたいと思います.なお,今回使うデータやモデルは下記のPyMCの入門書を参考にしています*1. Pythonで体験するベイズ推論-PyMCによるMCMC入門-キャメロン-デビッドソン-ピロン このでは推論にMCMCを使っていますが,今回はモデルはそのまま流用し,同じことを実現する変分ベイズによる近似推論を導いてみます. 一般的には変分ベイズの方が計算が高速なので,MCMCの性能に満足できない場合などは変分ベイズは良い代替手法になり得ます.また,今回紹介する例は,過去に紹介した混合モデルを使った例よりも比較的シンプルですので,変分ベイズの入門題材にはちょうど良いんじゃないかと思っています. MCMCによる変化点検知 ・メッセージ受信データ PyMCでは次のような「ある期間で受信したメール数」

    変分ベイズを使って変化点検知をしてみる - 作って遊ぶ機械学習。
  • ベイズ学習の勉強に参考になる資料 - 作って遊ぶ機械学習。

    おつかれさまです.今回はタイトルの通り,ベイズ学習を勉強する上で参考になる教科書やウェブの資料,論文等を紹介したいと思います. ベイズ学習は確率推論に基づいた機械学習アルゴリズムの構築論です.ベイズ学習を使えば,あらゆる形式のデータに対して,未観測値の予測や隠れた構造を発見するための統一的なアプローチをとることができるため,特に現代の機械学習アルゴリズムを深く理解し使いこなすためには必須の方法論になっています. 1, ベイズ学習の位置づけ まず,データサイエンスにおける他の方法論と,ベイズ学習の位置づけを簡単に俯瞰したいと思います. 僕の知る限り,ベイズ学習は1990年代ごろから登場してきた機械学習の方法論で,既存の学習アルゴリズムを確率モデルによって構築し,学習や予測の計算をすべて確率推論(条件付き分布と周辺分布の計算)で解決してしまおうという試みによってはじまりました.これにより,従来

    ベイズ学習の勉強に参考になる資料 - 作って遊ぶ機械学習。
  • 1