Bayesian statistics Tokyo.R#94
第94回Tokyo.Rでトークした際のスライド資料です。
第94回Tokyo.Rでトークした際のスライド資料です。
東京大学・株式会社Nopareの菅澤です．今回から縮小事前分布を使ったベイズ的変数選択の方法について，背景の原理やRでの実装について数回に分けて紹介していこうと思います． 今回は正則化法として有名なLassoのベイズ版であるBayesian Lassoについて紹介していきます． 線形回帰モデル 以下のような線形回帰モデルを考えます． $$ y_i=x_{i}^T\beta+\varepsilon_i, \ \ \ \ i=1,\ldots,n. $$ ここで$y_i$は被説明変数，$x_i=(x_{i1},\ldots,x_{ip})^T$は説明変数のベクトル，$\beta=(\beta_1,\ldots,\beta_p)^T$は回帰係数のベクトル，$\varepsilon_i$は誤差項を表します．以下では簡単のために，$\varepsilon_i$は独立かつ$\varepsilon_i\
GitHub - uber/orbit: A Python package for Bayesian forecasting with object-oriented design and probabilistic models under the hood.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
簡単かつ高性能な統計モデル構築！TensorFlow Probability によるベイズモデリング入門 | 株式会社トップゲート
削除する Google Service TGカルチャー アプリケーション開発 コンサルティング セミナー テックブログ デザイン デジタルプロダクト開発 開発実績 ニュース 2025年の崖(1) 5G(1) AI(39) AI Hub(1) AI Platform(1) AlloyDB(12) AlloyDB for PostgreSQL(6) AlphaZero(1) Analytics HUB(1) Android(11) Android アプリ(1) Anthos(6) API(12) API エコノミー(1) APP(2) App Engine(2) App Maker(2) AppServer(1) AppSheet(3) arduino(1) Authentication(1) AutoML(4) AWS(12) AWS (Amazon Web Services)(1) AWS
今回は，確率的プログラミング言語『Pyro』を使って2層ベイズニューラルネットワークモデルに対して変分推論(平均場近似)，ラプラス近似，MCMC(NUTS)の3つの手法を試してみました． 『ベイズ深層学習』第5章5.1節の図5.2のデータを使います． 環境 Python 3.7.5 PyTorch 1.3.0 Pyro 0.5.1 ソースコード 今回のソースコードはGitHub上(こちら)に上げました． 入力の次元を$H_{0}$, 出力の次元を$D$とするデータ集合$\mathcal{D} = \{ \mathbf{x}_n, \mathbf{y}_n \}_{n = 1}^{N}$が与えられたとします．ただし，データは$\mathcal{i.i.d}$であると仮定します． この時，入力$\mathbf{x}_n \in \mathbb{R}^{H_{0}}$に対する出力$\mathbf
先日書いたこの記事ですが、「トイデータとは言え乱数シードを一つに決めて発生させたランダムウォークに対して実験をしているので、乱数シードを複数通りに変えてみたら結果は変わってくる（再現しない）のではないか？」という指摘を何人かの友人知人から貰いました。正直言って多項式フィッティングには何の思い入れもないのですが、再現性があるかどうかについては単純に気になるところです。 ちなみに、以前沖本本で勉強した際にあった「ランダムウォークには平均回帰性がなく時間と共に不確実性が増すため事実上予測不可能（特に長期予測）」という議論の通りで、本来ならランダムウォークに対して「予測」を行うのはそもそも適切ではありません。ただし、短期予測なら例えば状態空間モデルやBSTS的な方法で多少は精度を改善できるのでは？と考えていたのは事実で、同じことが無根拠でナンセンスな多項式フィッティングでも出来たら面白いかもと思っ
現在、多くの人が使用しているコミュニケーションツールの1つにメールがありますよね。最近は連絡にSNSを使用することが増えていますが、それでもメールは定番の連絡手段として、プライベートや仕事など多くの場面で使用されています。 そのメールに備わっている、いくつかの便利な機能の1つに迷惑メールのフィルタリング機能がありますよね。迷惑メールとは広告・勧誘などの不要なメール。それをフィルタリング機能は、迷惑メールと判定したら指定のフォルダに振り分けてくれます。 そして、この便利なフィルタリング機能の仕組みに使用されているのが、ベイズの定理です。詳しく覚えていなくてもベイズの定理について、学生時代に学んだ記憶がある人もいるかもしれません。そのベイズの定理は、最先端技術のAI（人工知能）の開発技術である機械学習にも応用されています。 しかし、AI（人工知能）に使われているといっても、ベイズの定理の計算自
Rubin が「ベイジアンブートストラップ」を通して言いたかったこと - ill-identified diary
概要 Rubin の 1981年の “The Bayesian Bootstrap” とそれに関連する話の認識共有 以前の投稿でいまいちはっきりしない書き方をしたのでその訂正的な意味合いもある 正直なところ「役に立つ」系の話ではないし 「なるほど」系の話でもない やっぱり BB 自体は「便利な手法の提案」ではなく「都合のいい方法はないよ」という趣旨では? BB/ノンパラメトリックブートストラップ法では, 分布のテールや分布が歪んでいる可能性を無視しており, そういう場面で使うのは適切ではない ただし, 状況によっては BB の応用は有効であるし, なんなら Rubin 自身も多重代入法で使っている 概要 1 はじめに 2 Rubin (1981) での主張 3 その後の展開 4.1 Rubin 自身もブートストラップ法を使っていた 4 まとめ 参考文献 注釈 1 はじめにこれははっきり言っ
はじめに 『トピックモデル』(MLPシリーズ)の勉強会資料のまとめです。各種モデルやアルゴリズムを「数式」と「プログラム」を用いて解説します。 本の補助として読んでください。 この記事は、各節の内容のリンクページです。 各記事では、「数式の行間を埋める」や「RまたはPythonでスクラッチ実装する」を行います。 【目次】 はじめに Chpter 1 確率の基礎 1.1 確率 1.2 確率分布 Chapter 2 ユニグラムモデル 2.1 文書表現 2.2 ユニグラムモデル 2.3 最尤推定 2.4 最大事後確率推定 2.5 ベイズ推定 Chapter 3 混合ユニグラムモデル 3.1 混合ユニグラムモデル 3.3 EMアルゴリズム 3.4 変分ベイズ推定 3.5 ギブズサンプリング Chapter 4 トピックモデル 4.3 最尤推定 4.4 変分ベイズ推定 4.5 ギブズサンプリング C
時系列分析というと、SARIMAモデルや状態空間モデルなどがよく使われているかと思います。 私自身、これらのモデルについて一つの系列データについてモデルを適用したことはありますが、複数の系列データが影響するようなモデルについては扱ってきませんでした。 今回はある系列データが予測対象の系列データに影響を与えている状況を考え、これをベイズ構造時系列モデルが適用して考えてみたいと思い、実際にやってみたので、今回はそのメモです。 ベイズ構造時系列モデル 構造時系列モデル ベイズ構造時系列モデルの概要 問題意識 アプローチ spike-and-slab事前分布 ベイズ平均化法 使えそうなライブラリ サンプルコード TensorFlow Probability 自分でもやってみる 書いたコードの残骸 参考文献 感想 ベイズ構造時系列モデル 構造時系列モデル まずは構造時系列モデルについて簡単に確認しま
ニューラルネットワークのベイズ推論 / Bayesian inference of neural networks
研究室内のGNN勉強会の資料 NNの基礎からということで，この資料はGNNでなくベイズ深層学習とドロップアウトの関係の話です．
こんにちは，株式会社Nospareリサーチャー・千葉大学の小林です．２項ロジットモデルは，ある試験に合格・不合格になる，消費者がある製品カテゴリから購入する・しない，ある疾患にかかる・かからない，といった結果に対してそれらが起こる確率が説明変数の値によってどのように変化するかを調べることができます．また２項ロジットモデルの一般化である多項ロジットモデルはある製品カテゴリ内にある複数ブランドからあるブランドをひとつ選択するといったような行動が観測されたデータを分析するのに用いられます．さらにロジットの構造は被説明変数が単純に何らかの選択行動の結果である場合に対する回帰モデルだけでなく，mixture of experts model（混合エキスパートモデル）やzero inflation（カウントデータにおけるゼロ過剰）などといったようなデータに内在するカテゴリーの分類確率を記述するのにも用
この記事は ベイズ塾 Advent Calendar 2020 の 18 日目の記事です。 グラフィカルモデル（プレート表現）ベイジアンモデリングにおいて、モデルが複雑であるばあい、グラフィカルモデル（プレート表現）がその理解の補助的な役割を果たします（といいつつ、あんまり見かけない……人気ないのかな……）。 グラフィカルモデル（プレート表現）の記法はひとつでなく、少なくとも Lee & Wagenmakers. (2013). Bayesian Cognitive Modeling.（通称：怖い人本）で紹介されているものや、Kruschke. (2015). Doing Bayesian data analysis.（通称：犬4匹本）1で使われているものなどがあります。 個人的に前者のものの方がシンプルで好みなので、この記事は前者の記法を採用します。その記法は 原著 p.18 / 邦訳
メトロポリス・ヘイスティングス法の解説
はじめに ベイズ推論において事後分布が解析的に計算できない場面というのは往々にして存在します。その際のひとつの解決策がサンプリングです。 事後分布に従うサンプルを得ることで、事後分布について分かったことにしようということです。 今回はマルコフ連鎖モンテカルロ法と呼ばれる大きなアルゴリズム群の中でも汎用的な、メトロポリス・ヘイスティングス法について解説します。 文章中ではめんどいので MH 法と書くことにします。 概要 まずは記号の設定です。 π(x)\pi(x)π(x): 知りたい分布の確率密度関数。正規化係数のみ計算できない。 π∗(x)\pi_*(x)π∗(x): π(x)\pi(x)π(x) の正規化係数を除いた部分。 ベイズ推論においては事後分布の正規化係数のみ分からないという場面はよく出てきます。したがってMH法をベイズ推論において使う場合、正規化係数以外は計算できるという条件
Bayesian Data Analysis 3 (BDA3)の翻訳本『ベイズデータ解析 第3版』はいいぞ
ついにBDA3の翻訳が森北出版から出版されました！ ヨドバシカメラ Amazon そもそもBDA3って何？ Bayesian Data Analysis 3rd editionの略です。Andrew Gelman先生、John B. Carlin先生、David B. Dunson先生、Donald B. Rubin先生ら超一流の著者陣によるベイズの教科書の第3版です。 原著は2013年に出版された本だぞ、古いのでは？ 全く古くありません。線形代数は古いから使わない、線形回帰は古いから使わない、そんなことないですよね？ベイズ統計をベースにした考え方はfundamentalな技術であり、モデルが線形回帰だろうと深層学習だろうと拡張できますし、欠測補完や因果推論といった問題設定とも相性が良いです。超一流の著者陣による色褪せない理論の説明とデータ解析例を味わいましょう。 とはいえコードとかは古く
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
縮小事前分布によるベイズ的変数選択1: Bayesian Lasso - Qiita
Amazon.co.jp: しくみがわかるベイズ統計と機械学習: 手塚太郎: 本
【ベイズ深層学習】Pyroでベイズニューラルネットワークモデルの近似ベイズ推論の実装 - Qiita
とある実験の記録 - 渋谷駅前で働くデータサイエンティストのブログ
3分ですぐ使えるようになる！ベイズの定理の概要と計算方法まとめ
Amazon.co.jp: Juliaで作って学ぶベイズ統計学 (KS情報科学専門書): 須山敦志: 本
『トピックモデル』の勉強ノート：記事一覧 - からっぽのしょこ
ベイズ構造時系列モデルってやつをやってみる - Re:ゼロから始めるML生活
【ベイズ統計学】ロジットモデルに対するギブスサンプリングを簡単に行う！（理論編） - Qiita
Amazon.co.jp: 標準 ベイズ統計学: 入江薫, 橋本真太郎, 菅澤翔之助: 本
TikZ でグラフィカルモデルを書こう！ | TELLNNN