深層学習はガウス過程 - 作って遊ぶ機械学習。
おつかれさまです． 僕はあまり深層学習に関して記事を書くことはないのですが，ちょっと気になった論文があったので紹介します． [1711.00165] Deep Neural Networks as Gaussian Processes 論文はGoogle Brainの研究者らによるもので，NIPS2017 Bayesian Deep Learning WorkshopICLR2018にacceptされています．実は深層学習をガウス過程（Gaussian process）で構築するのはこの論文が初出ではないのですが，論文ではベイズ学習，深層学習，カーネル法を簡略かつ包括的に説明している内容になっているので非常に参考になります． さて，「深層学習はガウス過程」というのはちょっぴり宣伝的なタイトルにし過ぎてしまったのですが，もう少しだけ正確に論文の要点をまとめると次のようになります． 背景 単一
第3回 機械学習のためのベイズ最適化入門|Tech Book Zone Manatee
応用範囲が広く幅広い視点からの説明になりがちなベイズ最適化について、本記事では機械学習のハイパーパラメータ探索に利用することに限定して解説します。 1. はじめに 最近、ベイズ最適化という手法が注目を集めています。 ベイズ最適化 (Bayesian Optimization) とは、形状がわからない関数 (ブラックボックス関数) の最大値 (または最小値) を求めるための手法です。 ベイズ最適化についての入門記事は Web 上にすでにいくつかありますが、ベイズ最適化は応用範囲が広く、入門記事は様々な応用に向けた幅広い視点からの説明になりがちです。 本記事では、機械学習ユーザに向けて、ベイズ最適化を機械学習のハイパーパラメータ探索に利用することに限定して説明します。 これにより、機械学習に対して、ベイズ最適化がどのように利用できるのかを分かりやすく解説したいと思います。 2. ハイパーパラメ
Factorizing Personalized Markov Chains for Next-Basket Recommendation (WWW 2010) 読んだ - 糞糞糞ネット弁慶
Factorizing Personalized Markov Chains for Next-Basket Recommendation(pdf) 概要 「各ユーザが次に何を買うか」というタスクに対してマルコフ連鎖ベースの予測モデルを作る． ユーザごとの遷移確率を計算するにはスパースなので行列分解と組み合わせてその問題を解消する． 問題 ユーザの回分の購買履歴があるとして，回目で何を買うかをあてる．また，一度の購買では複数の商品を購入している(これをバスケットと表現する)． 手法 まず1購買に複数商品があるので，真面目にやるとそれぞれのアイテムのあるなしを1/0で表すと次元のマルコフ連鎖を考えなければならない． なので，「商品が前回のバスケットに入っている時，次のバスケットに入っている確率」を考える． 遷移確率は数え上げで計算ができるし，ユーザごとの履歴に絞ればpersonalizeも可
歪んだサイコロでベイズ - Negative/Positive Thinking
はじめに 歪んだサイコロを使ってベイズ統計学の初歩を勉強してみる。 歪んだサイコロ 6面サイコロがある。しかし、よく見ると各面の大きさが違う。 以下、疑似的に出目を生成してみる。 歪んだサイコロの出目 コード #include <iostream> #include <vector> #include <climits> static const int NUM_SIDE = 6; //サイコロの面の数 static const double prob[NUM_SIDE] = {6.0/21, 5.0/21, 4.0/21, 3.0/21, 2.0/21, 1.0/21}; //各サイコロ面の出現確率 //xorshift // 注意: longではなくint(32bit)にすべき unsigned long xor128(){ static unsigned long x=1234567
ベイズ推定を知っているフリをするための知識
最近はベイジアンが増えてきて、実用分野での利用も進んでいるようだ。話題としては知っておきたいが、世間一般には理解に混乱を生んでいるようだ。 ベイズ推定は入門レベルの統計学の教科書ではオマケ的な扱いがされており、実際に伝統的な統計手法を拡張している面が強い。そういう意味では、誤解や混乱があっても仕方が無い。 利用する必要があるのか無いのか良く分からない点も多いのだが、知らないと告白するのも気恥ずかしいかも知れない。自分ではベイズ推定で分析を行わない人が、ベイズ信者と話をあわせるために最低限知っておくべき事をまとめてみた。 1. ベイズ推定とは何か？ ベイズ推定とは、ベイズの定理を応用した推定手法だ。端的に理解するためには、最尤法に事前確率を導入している事だけ覚えれば良い。これで哲学的議論を全て回避してベイズ推定を把握することができる。 下の(1)式ではπ（θ）が事前確率、π(θ|x)が事後確
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
