慶應義塾大学・株式会社Nospareの菅澤です． 今回はベイズ統計学を勉強するための参考書の順番 (私見) について紹介していきます． 3年ほど前に『日本語で学べるベイズ統計学の教科書10冊』を紹介しましたが，今回は「どのような順番でどの参考書を読んでいくと比較的スムーズに勉強が進められるのか」に焦点を当て，比較的最近の書籍や英語の書籍まで含めて紹介していきます． まずは全体的なフローのイメージを提示しておきます． 今回の記事では，「ベイズ統計学を勉強すること」のスタートとゴールを以下のように定めます． (スタート) 統計学の基礎的な内容 (統計検定2級程度の内容) は身についている (ゴール) ベイズモデリングに関する最新の論文がある程度理解して読め，自力でモデルを組んだり実装することができる また，このゴールへの道のりとして，大きく2通りのルートを想定します． (ルートA: フルスクラ
培養神経回路において自由エネルギー原理を実証
理化学研究所（理研）脳神経科学研究センター 脳型知能理論研究ユニットの磯村 拓哉 ユニットリーダーらの国際共同研究グループは、近年注目される脳理論「自由エネルギー原理[1]」により培養神経回路の自己組織化[2]を予測できることを明らかにし、自由エネルギー原理に予測的妥当性があることを実証しました。 本研究成果は、神経回路の自己組織化原理の解明、ならびに生物の脳の自己組織化を予測するデジタル脳[3]開発に向けた重要なステップであると言えます。将来的には、薬品が知覚に影響を及ぼすメカニズムの理解や、自律的に学習するニューロモルフィックデバイス[4]の創出に貢献すると期待できます。 自由エネルギー原理はさまざまな脳機能を説明できる仮説ですが、検証不可能なものであると見なす専門家も多く、自由エネルギー原理が神経回路レベルにおいて正しいかどうかは、これまで本格的に検証されていませんでした。 今回、国
Bayesian Data Analysis 3 (BDA3)の翻訳本『ベイズデータ解析 第3版』はいいぞ
ついにBDA3の翻訳が森北出版から出版されました！ ヨドバシカメラ Amazon そもそもBDA3って何？ Bayesian Data Analysis 3rd editionの略です。Andrew Gelman先生、John B. Carlin先生、David B. Dunson先生、Donald B. Rubin先生ら超一流の著者陣によるベイズの教科書の第3版です。 原著は2013年に出版された本だぞ、古いのでは？ 全く古くありません。線形代数は古いから使わない、線形回帰は古いから使わない、そんなことないですよね？ベイズ統計をベースにした考え方はfundamentalな技術であり、モデルが線形回帰だろうと深層学習だろうと拡張できますし、欠測補完や因果推論といった問題設定とも相性が良いです。超一流の著者陣による色褪せない理論の説明とデータ解析例を味わいましょう。 とはいえコードとかは古く
はじめに Monte Carlo dropoutで予測の不確実性を算出する手法の概要を説明します。 事前準備（変分ベイズ） 前提知識として必要なベイズ推論と変分推論について説明します。 ベイズ推論 通常のニューラルネットワークでは、出力は変数$y$ですが、ベイズ推論では分布$p(y|x)$を考えます。 分布が尖った形になっている場合は予測の不確実性が低く、裾が広い場合は不確実性が高いことになります。 ラベルの分布は、パラメータの分布$p(\theta)$を考え、積分で$\theta$を消去することで求めます。 $$ p(y|x) = \int p(y|x, \theta)p(\theta) {\rm d}\theta $$ 変分推論 パラメータの事後分布$p(\theta|X,Y)$を、計算しやすい分布$q(\theta)$で近似することを考えます。 近似分布$q(\theta)$は、$p
慶應義塾大学・株式会社Nospareの菅澤です． 今回はベイズ統計学を勉強するための参考書の順番 (私見) について紹介していきます． 3年ほど前に『日本語で学べるベイズ統計学の教科書10冊』を紹介しましたが，今回は「どのような順番でどの参考書を読んでいくと比較的スムーズに勉強が進められるのか」に焦点を当て，比較的最近の書籍や英語の書籍まで含めて紹介していきます． まずは全体的なフローのイメージを提示しておきます． 今回の記事では，「ベイズ統計学を勉強すること」のスタートとゴールを以下のように定めます． (スタート) 統計学の基礎的な内容 (統計検定2級程度の内容) は身についている (ゴール) ベイズモデリングに関する最新の論文がある程度理解して読め，自力でモデルを組んだり実装することができる また，このゴールへの道のりとして，大きく2通りのルートを想定します． (ルートA: フルスクラ
自由エネルギー原理 - 脳科学辞典
磯村 拓哉 理化学研究所脳神経科学研究センター DOI：10.14931/bsd.10024 原稿受付日：2022年1月31日 原稿完成日：2022年4月3日 担当編集委員：北城 圭一（生理学研究所） 英：free-energy principle 独：Prinzip der freien Energie 仏：principe de l'énergie libre 自由エネルギー原理は、Karl J. Fristonが提唱している脳の情報理論である。生物の知覚や学習、行動は、変分自由エネルギーと呼ばれるコスト関数を最小化するように決まるとしている。その結果、生物は変分ベイズ推論と呼ばれる統計学的な推論を自己組織化に行うとされている。 背景 生物の感覚入力に基づく適応的な行動は、何らかの自己組織化（つまり適応、最適化）によって特徴付けることができる。生物は、感覚入力を生成する外部環境のダイナ
Osvaldo Martin 著, 金子武久 訳 Pythonによるベイズ統計モデリング (Bayesian Analysis with Python) 2018-06-26 https://www.kyoritsu-pub.co.jp/book/b10003944.html Christopher M. Bishop 著, 元田浩 栗田多喜夫 樋口知之 松本裕治 村田昇 監訳 パターン認識と機械学習 ベイズ理論による統計的予測 (Pattern Recognition and Machine Learning) 2012-01-20 https://www.maruzen-publishing.co.jp/item/?book_no=294524 Pythonによるベイズ統計モデリングを読んだので学習メモを整理します。学習中のノートなので正確ではないかもしれません。使われているコードをP
慶應義塾大学・株式会社Nospareの菅澤です． 今回はベイズ統計学を勉強するための参考書の順番 (私見) について紹介していきます． 3年ほど前に『日本語で学べるベイズ統計学の教科書10冊』を紹介しましたが，今回は「どのような順番でどの参考書を読んでいくと比較的スムーズに勉強が進められるのか」に焦点を当て，比較的最近の書籍や英語の書籍まで含めて紹介していきます． まずは全体的なフローのイメージを提示しておきます． 今回の記事では，「ベイズ統計学を勉強すること」のスタートとゴールを以下のように定めます． (スタート) 統計学の基礎的な内容 (統計検定2級程度の内容) は身についている (ゴール) ベイズモデリングに関する最新の論文がある程度理解して読め，自力でモデルを組んだり実装することができる また，このゴールへの道のりとして，大きく2通りのルートを想定します． (ルートA: フルスクラ
G検定チートシート（cheat sheet）（2024年第三回G検定 2024.5.11）｜スキルフルな人生
せっかく作ったので公開しておきます。Ctrl＋Fで検索で利用してください。 私の勉強方法などの経験は「G検定受けてみた」を参照ください。 人工知能とは学習目標：人工知能や機械学習の定義を理解する 学習項目：人工知能とは何か、人工知能のおおまかな分類、AI 効果、人工知能とロボットの違い 推論 (Inference) 特徴: 推論は、与えられた事実やデータから新しい結論を導き出す過程です。 目的: 未知の情報を既知の事実から導き出し、意思決定や問題解決に役立てること。 説明: 例えば、天気予報で「今日は雲が多い」という情報があれば、「雨が降る可能性が高い」と推論することができます。AIではこの論理的な推論を自動化し、データから新しい知識や結論を生成します。 認識 (Recognition)特徴: 認識は、センサーやデータからパターンを識別する能力です。 目的: 環境や入力データから有用な情報
はじめに 変分ベイズ法の考え方のメモです。 参考文献 変分法をごまかさずに変分ベイズの説明をする 参考文献 変分推論法（変分ベイズ法）(PRML第10章) 参考文献 パターン認識と機械学習の学習 普及版 変分ベイズ法の考え方 変分ベイズ法は、パラメータの事後確率分布$p(v,w|X)$を確率分布の積$q(v)q(w)$で近似する手法。 近似は、KL情報量を最小化する分布とする。 対数周辺尤度$\log p(X)$は変分下限$L(q)$とKL情報量の和に分解される。 \begin{align} \log p(X)&=L(q)+KL(q\parallel p)\\ L(q)&=\iint q(v)q(w)\log\frac{p(X,v,w)}{q(v)q(w)}\mathrm{d}v\mathrm{d}w\\ KL(q\parallel p)&=\iint q(v)q(w)\log\frac{
無から始める変分ベイズ - Qiita
動機 何らかのパラメータ $\theta$ で記述された分布があって、その分布から観測データ $D$ が得られるとします。ベイズの定理 $$ p(\theta | D) = \dfrac{p(D|\theta) p(\theta)}{p(D)} = \dfrac{p(D|\theta) p(\theta)}{\int p(D|\theta) p(\theta) d\theta} $$ では、$p(\theta)$ を事前確率、$p(\theta|D)$ を事後確率と呼びますが、これを使って、事後確率が最大となる $\theta$ を求めたり（MAP推定）、$p(\theta|D)$ を実際に計算したり（ベイズ推定）したりするのでした。 参考: 藤井四段で学ぶ最尤推定、MAP推定、ベイズ推定 一方、確率的生成モデルと呼ばれる高度な方法だと、$\theta$ は決定的な値ではなく確率変数として
ニューラルネットワークの予測の不確実性（stochastic variational inference・概要編） - Qiita
はじめに stochastic variational inference で予測の不確実性を算出する方法の概要を説明します。 事前準備（変分ベイズ） 前提知識として必要なベイズ推論と変分推論について説明します。 ベイズ推論 通常のニューラルネットワークでは、出力は変数ですが、ベイズ推論ではラベル$y$の分布$p(y|x)$を考えます。 分布が尖った形になっている場合は予測の不確実性が低く、裾が広い場合は不確実性が高いことになります。 ラベルの分布は、パラメータの分布$p(\theta)$を考え、積分で$\theta$を消去することで求めます。 $$ p(y|x) = \int p(y|x, \theta)p(\theta) {\rm d}\theta $$ 変分推論 パラメータの事後分布$p(\theta|X,Y)$を、計算しやすい分布$q(\theta)$で近似することを考えます。 近
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ベイズ統計学を勉強する参考書のフロー - Qiita
ニューラルネットワークの予測の不確実性（Monte Carlo dropout・概要編） - Qiita
ベイズ統計学を勉強する参考書のフロー - Qiita
Bayesian Analysis with PyMC 勉強ノート 6 モデル比較
ベイズ統計学を勉強する参考書のフロー - Qiita
変分ベイズ法による混合正規分布の推定を理解したい - Qiita