Gaussian Processes and Kernel Methods: A Review on Connections and Equivalences
This paper is an attempt to bridge the conceptual gaps between researchers working on the two widely used approaches based on positive definite kernels: Bayesian learning or inference using Gaussian processes on the one side, and frequentist kernel methods based on reproducing kernel Hilbert spaces on the other. It is widely known in machine learning that these two formalisms are closely related;
ガウス過程シリーズ 1 概要 - StatModeling Memorandum
Stanのマニュアルの「Gaussian Processes」の章を実際に実行しましたので記録を残します。結論から言いますと、Stanでやる場合は回帰はよいですがクラス分類に使おうとすると計算が遅いし収束も悪いです。 まずGaussian Process（以下GPと呼ぶ）とは何ぞやということですがgpml（ぐぷむる？）として有名な次の書籍の1章が分かりやすいです。→Gaussian Processes for Machine Learning これを咀嚼して勝手に補完してまとめたものが以下になります。 GPは教師あり学習の一手法です。教師あり学習では有限のトレーニングデータから関数を作ることになります。関数はありとあらゆる入力の値に対して予測値を返すものです。この関数を決めるにあたり、2つのアプローチがあります。1つめは関数をあるクラス（例えば線形だとか）に限定するものです。しかしこれは採
Stanでガウス過程 | Sunny side up!
dat <- read.csv("gp_test.csv") N1 <- nrow(dat) x1 <- dat$x y1 <- dat$y N2 <- 59 x2 <- seq(1, 30, length.out = N2) data.gp <- list( N1 = N1, N2 = N2, x1 = x1, x2 = x2, y1 = y1 ) model.gp <- stan_model("GP_reg.stan") fit.gp <- sampling( model.gp, data = data.gp, iter = 5000, chains = 4, cores = 4 ) print(fit.gp, pars = "y2") print(fit.gp, pars = "theta") # plot ext.fit <- rstan::extract(fit.gp) y2.m
Gaussian Process Latent Variable Models (GPLVM) を使ってみる - StatModeling Memorandum
PCA（主成分分析）のド発展版に相当する、ガウス過程を用いたGPLVMをRからサクッと使うまでの備忘録です。 GPLVMの説明で分かりやすいのは、以下の統計数理研究所のH26年度公開講座「ガウス過程の基礎と応用」の持橋先生と大羽先生の発表資料です。 [1] 統計数理研究所 H26年度公開講座「ガウス過程の基礎と応用」 (web) 元論文は以下です。 [2] M. K. Titsias and N. D. Lawrence (2010) Bayesian Gaussian Process Latent Variable Model. Thirteenth International Conference on Artificial Intelligence and Statistics (AISTATS), JMLR: W&CP 9, pp. 844-851. (pdf) そして、提唱者で
H26:Gaussian Processes
統計数理研究所 H26年度公開講座「ガウス過程の基礎と応用」 講師: 松井知子 (統数研), 持橋大地 (統数研), 大羽成征 (京都大), 斎藤正也 (統数研) 日時: 2015年3月3日(火) 10:00-16:00 講義スライド 講義1 (松井): 「ガウス過程の基礎」 講義2 (持橋): 「ガウス過程の基礎と教師なし学習」 講義3 (大羽): 「ガウス過程法 変分圧縮, GP-LVM, Deep GP」 講義4 (斎藤): 「ガウス過程のシミュレーションへの応用」 関連資料 Interactive demonstrations for linear and Gaussian process regressions (Andrew Gelman) http://andrewgelman.com/2015/03/07/interactive-demonstrations-linear-
Gaussian Processes are Not So Fancy
Wednesday December 26, 2018 Gaussian Processes have a mystique related to the dense probabilistic terminology that's already evident in their name. But Gaussian Processes are just models, and they're much more like k-nearest neighbors and linear regression than may at first be apparent. Gaussian Processes have applications ranging from finding gold to optimizing hyperparameters of other models. Th
Deep Gaussian Processes
at MLSS, Stellenbosch, South Africa on Jan 11, 2019 [jupyter][google colab][reveal] Abstract Gaussian process models provide a flexible, non-parametric approach to modelling that sustains uncertainty about the function. However, computational demands and the joint Gaussian assumption make them inappropriate for some applications. In this talk we review low rank approximations for Gaussian processe
Jochen Görtler
I am a consulting software engineer and research scientist. I develop hand-tailored visualization systems that help my clients make sense of complex data and machine learning models. I'm based in Germany and I have a Ph.D. in computer science. Jochen Görtler ✌️ Build understanding. The systems I develop typically leverage a combination of frontend and backend components. Because of this, I have ex
ベイズ最適化とHyperbandを組み合わせた手法「BOHB」の解説 | Masahiro Nomura
はじめに 本稿では，Hyperband[Li 18]とベイズ最適化を組み合わせた手法であるBOHB[Falkner 18]について解説する． 今回実験は行わないが，実験をする場合は，著者らが公開しているOSSであるHpBandSterを利用して実験を行うのが良さそうなので，適宜そちらを参照されたい． ベイズ最適化 ベイズ最適化の概要についてはこちらの記事で解説を行っているため，本稿では省略する． ベイズ最適化に用いられるsurrogate functionとしてはGaussian Processが有名だが，サンプル数$n$に対して時間計算量が$\mathcal{O}(n^3)$となるため，サンプル数を大きくすると実用的に使いづらくなるという問題点が存在する． そこでBOHBでは，サンプル数$n$に対して$\mathcal{O}(n)$で計算できるTree-structured Parzen
MLPシリーズ『ガウス過程と機械学習』サポートページ
News: Kindle版の配信が4/26に始まりました. (2019/4/26) [Amazon Kindle] 大羽さん担当章に関する, 本サポートページの補足はこちらです. (2019年4月7日) Google Colaboratoryの実習用ノートブックを追加しました. (2019年3月14日) 無事発売されました. (2019年3月9日) [Amazon] [紀伊国屋書店] (正誤表) さまざまな分野でのガウス過程の例 天文学: "Finding Galaxies in the Shadows of Quasers with Gaussian Processes", Roman Garnett, Shirley Ho, Jeff Schneider, ICML 2015. 紹介スライド (持橋): gpgalaxy.pdf [paper] 生態学: "Fast and flexi
Backpropしないニューラルネット入門 (2/2)
1. 概要下記のarXiv論文を紹介します。 Jinshan Zeng, Tim Tsz-Kit Lau, Shaobo Lin, Yuan Yao (2018). Block Coordinate Descent for Deep Learning: Unified Convergence Guarantees.arXiv:1803.00225 現時点では投稿されて間もない論文ですが、個人的には機械学習の論文を読んでいて久々に楽しい気持ちになれました。 論文の提案手法はgradient-free methodと呼ばれる手法の一種なので、本記事はそのあたりのレビューも少し兼ねます。 2. 勾配法の収束条件ニューラルネットの構造をひとつ固定し、その構造を使って表せる関数の全体を $\mathcal{F}$ と書きます。ニューラルネットの学習とは、与えられた損失を最小化する関数を見つけることで
深層学習はガウス過程 - 作って遊ぶ機械学習。
おつかれさまです． 僕はあまり深層学習に関して記事を書くことはないのですが，ちょっと気になった論文があったので紹介します． [1711.00165] Deep Neural Networks as Gaussian Processes 論文はGoogle Brainの研究者らによるもので，NIPS2017 Bayesian Deep Learning WorkshopICLR2018にacceptされています．実は深層学習をガウス過程（Gaussian process）で構築するのはこの論文が初出ではないのですが，論文ではベイズ学習，深層学習，カーネル法を簡略かつ包括的に説明している内容になっているので非常に参考になります． さて，「深層学習はガウス過程」というのはちょっぴり宣伝的なタイトルにし過ぎてしまったのですが，もう少しだけ正確に論文の要点をまとめると次のようになります． 背景 単一
Gpy vs scikit-learn: pythonでガウス過程回帰 - nykergoto’s blog
Gpy と Scikit-learn Python でガウス過程を行うモジュールには大きく分けて2つが存在します。 一つは Gpy (Gaussian Process の専門ライブラリ) で、もう一つは Scikit-learn 内部の Gaussian Process です。 GPy: GitHub - SheffieldML/GPy: Gaussian processes framework in python Scikit-Learn 1.7. Gaussian Processes — scikit-learn 0.24.1 documentation この2つのモジュールでどのような違いがあるのかを以下の項目で比較していきます。 カーネルの種類, 可視化 どんな種類のカーネルがあるのか 可視化は容易か 予測モデルの作成 モデルの作成はどのように行うのか モデルの訓練方法, 結果の可
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Institut für Neuroinformatik - Universität Ulm
Fast and scalable Gaussian process modeling with applications to astronomical time series
Scalable Gaussian Process Regression for Kernels with a Non-Stationary Phase
https://www.ism.ac.jp/~daichi/lectures/H26-GaussianProcess/gp-lecture2-daichi.pdf
Jupyter Notebook Viewer
https://dustintran.com/papers/TranDusenberryVanDerWilkHafner2018_poster.pdf
Journal of Machine Learning Research