PRML 読書会 #8 が来週に迫る中。 カーネル法わからん…… ガウス過程わからん…… そもそも今回の会場無事たどり着けるかな…… 3つめの不安はとりあえず置いといて、わからんときは手を動かすしかない。 というわけで PRML 6.4.2 「ガウス過程による回帰」を R で試す。 訓練データは PRML のサンプルデータを使う。 # PRML's synthetic data set curve_fitting <- data.frame( x=c(0.000000,0.111111,0.222222,0.333333,0.444444,0.555556,0.666667,0.777778,0.888889,1.000000), t=c(0.349486,0.830839,1.007332,0.971507,0.133066,0.166823,-0.848307,-0.445686,-0
みなさんこんにちは! 6月からAI Labに異動してきた野村(@nmasahiro_)と申します. 先月まではSparkで集計基盤を作ったりといったデータエンジニアリング業務に従事していましたが,現在は数理最適化の研究を行っています. 今回は機械学習手法のハイパーパラメータ最適化によく利用されているベイズ最適化について勉強してみたので,自分なりの理解をまとめておこうと思います. まだ勉強中の身ですので,もし気になる点などあればご指摘いただけると嬉しいです! はじめに Black-box関数最適化問題というのは,目的関数の代数的な表現,つまり,数式自体が与えられず,解に対する目的関数値のみを利用することができる問題です. 機械学習手法のハイパーパラメータ最適化などがBlack-box関数最適化問題の枠組みに属します.例としてDeep Learningのハイパーパラメータ最適化問題を考えた場合
概要 “Anything you can do easily with an SVM you can do with a Gaussian Process better” Gaussian Processについて、Zoubin Ghahramani氏 ご本人もpossibly controversialと言っているし少し言い過ぎな気もしますが(何をもって"better"なのか?)、Gaussian Processがどんなものなのか理解するためにとりあえず実装してみました。 Multivariate Gaussian Distribution Gaussian ProcessではMultivariate Gaussian Distributionを使います。 Multivariate Gaussian Distributionは正規分布の多変量版のようなもので、変数同士の共分散が定義されます
dat <- read.csv("gp_test.csv") N1 <- nrow(dat) x1 <- dat$x y1 <- dat$y N2 <- 59 x2 <- seq(1, 30, length.out = N2) data.gp <- list( N1 = N1, N2 = N2, x1 = x1, x2 = x2, y1 = y1 ) model.gp <- stan_model("GP_reg.stan") fit.gp <- sampling( model.gp, data = data.gp, iter = 5000, chains = 4, cores = 4 ) print(fit.gp, pars = "y2") print(fit.gp, pars = "theta") # plot ext.fit <- rstan::extract(fit.gp) y2.m
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く