機械学習のためのベイズ最適化入門
The document discusses hyperparameter optimization in machine learning models. It introduces various hyperparameters that can affect model performance, and notes that as models become more complex, the number of hyperparameters increases, making manual tuning difficult. It formulates hyperparameter optimization as a black-box optimization problem to minimize validation loss and discusses challenge
【ベイズ深層学習】Pyroでベイズニューラルネットワークモデルの近似ベイズ推論の実装 - Qiita
今回は，確率的プログラミング言語『Pyro』を使って2層ベイズニューラルネットワークモデルに対して変分推論(平均場近似)，ラプラス近似，MCMC(NUTS)の3つの手法を試してみました． 『ベイズ深層学習』第5章5.1節の図5.2のデータを使います． 環境 Python 3.7.5 PyTorch 1.3.0 Pyro 0.5.1 ソースコード 今回のソースコードはGitHub上(こちら)に上げました． 入力の次元を$H_{0}$, 出力の次元を$D$とするデータ集合$\mathcal{D} = \{ \mathbf{x}_n, \mathbf{y}_n \}_{n = 1}^{N}$が与えられたとします．ただし，データは$\mathcal{i.i.d}$であると仮定します． この時，入力$\mathbf{x}_n \in \mathbb{R}^{H_{0}}$に対する出力$\mathbf
多変数の場合のベイズの定理 - Chatwork Creator's Note
数学部 チャットワークの部活の１つに数学部があります。毎週１日朝各自で数学の本を読み進めることが活動内容です。最近ではCoding the Matrixという本で線形代数を学んでいます。 今日は線形代数ではないですが、確率論の基礎をなすベイズの定理について書いておこうと思います。 ベイズの定理とは ベイズの定理とは、ある事象Xを観測したもとでの事象Yが起きる事後確率\(P(Y | X)\)が、事象Yが起きる事前確率\(P(Y)\)と事象Yをもとにどのぐらい事象Xを再現可能かを示す尤度関数\(P(X | Y)\)との積に比例するというものです。 \(P(Y | X) = \frac{P(X | Y)P(Y)}{P(X)}\) ここで分母のP(X)は事後確率が正規化されて\( 0 \le P(Y | X) \le 1 \)を満たすことを保証するものと解釈できます。 ベイズの定理を使えば、「A、
ベイズ線形回帰（解析解）の実装 - 機械と学習する
【2020/07/09更新】 添付のnotebookに一部間違いがあったので修正しました。修正箇所は更新済みのnotebookのセル番号[19]。 予測分布の分散の計算で、分散(var_y)を足さなければいけないところを標準偏差(sqrt(var_y))を足してしまっていたので修正しました。 予測分布の可視化結果に違和感があったのがなくなりました。コメントありがとうございます。 【概要】 ベイズ推論について理解するために実装するシリーズの第２弾 今回は線形回帰のパラメータ推論（いわゆる学習）を確率推論するベイズ線形回帰を実装してみました 【目次】 はじめに 本記事の範囲 線形回帰 線形回帰のモデル 線形回帰の学習 ベイズ線形回帰 モデルの構築 トイデータの作成 ベイズ線形回帰の学習（重みwの事後分布） 事後分布からwのサンプル 予測分布の算出 おわりに おまけ 参考文献 はじめに ベイズ推
Python: ベイズ最適化で機械学習モデルのハイパーパラメータを選ぶ - CUBE SUGAR CONTAINER
機械学習モデルにおいて、人間によるチューニングが必要なパラメータをハイパーパラメータと呼ぶ。 ハイパーパラメータをチューニングするやり方は色々とある。 例えば、良さそうなパラメータの組み合わせを全て試すグリッドサーチや、無作為に試すランダムサーチなど。 今回は、それとはちょっと違ったベイズ最適化というやり方を試してみる。 ベイズ最適化では、過去の試行結果から次に何処を調べれば良いかを確率分布と獲得関数にもとづいて決める。 これにより、比較的少ない試行回数でより優れたハイパーパラメータが選べるとされる。 Python でベイズ最適化をするためのパッケージとしては Bayesian Optimization や skopt、GPyOpt などがある。 今回は、その中でも Bayesian Optimization を使ってみることにした。 使った環境は次の通り。 $ sw_vers Produ
心理学者のためのベイズ統計入門 | Sunny side up!
先日，大阪教育大学で発表した，「心理学者のためのベイズ統計入門」という講演の資料をスライドシェアにアップしました。 心理学者向け，というだけあって，かなり基礎的なところから解説しています。確率とか確率分布とか，そのあたりからです。最終的にはベイズファクターとか，MCMCとか，stanの話もあります。 興味ある方はご覧ください。ただ，若干長いです（140枚程度）。 あと，もし間違いが見つかりましたらご指摘いただけると助かります。 【2018年3月12日追記】 黒木玄（@genkuroki )さんからご指摘いただき、スライド内容に間違い、ミスリーディングな箇所があることがわかりました。スライドを見られる方は以下のツイートも併せてみていただくようお願いします。 https://twitter.com/genkuroki/status/973007871821557760 ご指摘感謝します。ほかに
従来の推定法とベイズ推定法の違い | Sunny side up!
ベイズ推定って、最近はやってきてますね。僕も流行りにおいて行かれないように勉強しています。 理論的な話や数学的な話はいろいろWebや本をあされば出てきますが、実用面とか解釈面について言及しているものは少ないですね。 今回は清水の個人的な意見として、ベイズがどういう風に使えそうか書いてみます。数学的な話はなしで。よくわからないので。 興味ある人は続きをどうぞ。 2016/2/1追記：ベイズ統計について，入門的な資料を作りました。心理学者のためのベイズ統計入門もあわせてどうぞ。 ベイズ推定法の前に、従来法の代表として最尤推定法について触れておきます。 その方法とベイズがどう違うのかについて、そのあと述べます。 最尤推定法 最尤法ともいわれますが、基本的な発想は、モデルとデータの関係を次のように考えます。 真のモデルというのがあって、我々はそのモデルから発生したデータを手に入れている。真値は一つ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
3変数の条件付き確率 - how to code something
PyMCがあれば，ベイズ推定でもう泣いたりなんかしない