はてなブックマーク

慶應義塾大学・株式会社Nospareの菅澤です． 今回はベイズ統計学を勉強するための参考書の順番 (私見) について紹介していきます． 3年ほど前に『日本語で学べるベイズ統計学の教科書10冊』を紹介しましたが，今回は「どのような順番でどの参考書を読んでいくと比較的スムーズに勉強が進められるのか」に焦点を当て，比較的最近の書籍や英語の書籍まで含めて紹介していきます． まずは全体的なフローのイメージを提示しておきます． 今回の記事では，「ベイズ統計学を勉強すること」のスタートとゴールを以下のように定めます． (スタート) 統計学の基礎的な内容 (統計検定2級程度の内容) は身についている (ゴール) ベイズモデリングに関する最新の論文がある程度理解して読め，自力でモデルを組んだり実装することができる また，このゴールへの道のりとして，大きく2通りのルートを想定します． (ルートA: フルスクラ

慶應義塾大学・株式会社Nospareの菅澤です． 今回はガウス過程を用いた空間データの(階層)ベイズモデリングについて紹介します． 空間データの分析 緯度・経度などの位置情報が付随したデータは一般的に空間データと呼ばれます．例えば不動産価格のデータは価格や物件の特徴量に加えて住所の情報から緯度・経度の位置情報を得ることができます． 実は空間データの中にも様々な型のデータがあるのですが，今回は$n$個の地点$s_i \ (i=1,\ldots,n)$において被説明変数$y_i$と説明変数$x_i$が観測されている状況を考えます．例えば不動産の例ですと，$y_i$が不動産価格，$x_i$が不動産の特徴量，$s_i$が物件の緯度・経度に相当します． 基本的な目的は 説明変数$x_i$が被説明変数$y_i$に与える影響を調べる 新しい地点$s_0$において説明変数$x_0$を用いて未観測の$y_0

慶應義塾大学・株式会社Nospareの菅澤です． 今回は異質性のある因果効果とその推定方法について紹介します． 異質処置効果 (Heterogeneous Treatment Effect) 標準的な潜在アウトカム（potential outcome）の設定下での因果効果の推定を考えます．そのため，以下の変数を用意しておきます． $X$: 説明変数 $T$: 処置変数 ($T=1$: 処置群, $T=0$: 対照群) $Y^{(T)}$: 処置$T$のもとでの潜在アウトカム $Y=TY^{(1)} + (1-T)Y^{(0)}$: 観測できるアウトカム 観測データとしては$(Y,X,T)$の三つ組です． 処置$T$の因果効果を測る指標として広く用いられているのは平均処置効果（ATE; average treatment effect）でして，以下のように与えられます． 集団内には異なる特徴

東京大学・株式会社Nospareの菅澤です． 今回は状態空間モデルによる時系列予測手法を用いた因果効果の推定手法であるCausalImpactについて紹介します． CausalImpactとは CausalImpactはGoogleによって開発された因果効果推定の方法です．手法の詳細はBrodersen et al. (2015, AoAS)に記載されており，手法を実装したRパッケージも公開されています． CausalImpactは，ある介入が時間変化するアウトカムにどのような影響を与えるかを推定（推測）するための手法です．時間変化するアウトカム（時系列データ）に対して因果効果を推定する有名な方法としてDifference-in-Difference (DID)がありますが，DIDよりも緩い仮定のもとで時間変化する因果効果を推定できる方法として知られています． CausalImpactのコ

はじめに 東京大学・株式会社Nospareの菅澤です． 今回はベイズ統計を用いたデータ分析を実施する上で欠かせないマルコフ連鎖モンテカルロ法(いわゆるMCMC)をフルスクラッチで実装するためのトレーニング方法と，そのための参考書について紹介いたします． 最近ではstanのように，モデルと事前分布を記述するだけで汎用的にMCMCが実行できてしまう環境が整っていますが， そもそもMCMCがどういう流れで動いているのか理解する stanなどの汎用ツールがうまく使えない(orうまく動かない)場面に遭遇したときに自分の手で実装できるようにする ためには，標準的なモデルでMCMCをフルスクラッチで実際に組んだ経験が重要になってくると思います． 参考書について トレーニングのために私がオススメするのは以下の本です． J. Chan, G. Koop, D. J. Poirier, J. L. Tobia

東京大学・株式会社Nopareの菅澤です．今回から縮小事前分布を使ったベイズ的変数選択の方法について，背景の原理やRでの実装について数回に分けて紹介していこうと思います． 今回は正則化法として有名なLassoのベイズ版であるBayesian Lassoについて紹介していきます． 線形回帰モデル 以下のような線形回帰モデルを考えます． $$ y_i=x_{i}^T\beta+\varepsilon_i, \ \ \ \ i=1,\ldots,n. $$ ここで$y_i$は被説明変数，$x_i=(x_{i1},\ldots,x_{ip})^T$は説明変数のベクトル，$\beta=(\beta_1,\ldots,\beta_p)^T$は回帰係数のベクトル，$\varepsilon_i$は誤差項を表します．以下では簡単のために，$\varepsilon_i$は独立かつ$\varepsilon_i\

東京大学・株式会社Nospareの菅澤です． 今回はベイズ統計学を勉強する上で個人的にオススメな日本語の教科書10冊を簡単に紹介したいと思います． 一般的な方法論・基礎理論 中妻照雄『入門ベイズ統計学』 簡単な例と実践的な例を使ってベイズ推論の考え方が導入された後，マルコフ連鎖モンテカルロ法(MCMC)の基礎的な事項がまとめられています．基本的な数理統計学が理解できていれば十分読める内容になっている印象です．この本の続編である中妻照雄『実践ベイズ統計学』では，ファクターモデルやそのポートフォリオ選択への応用，ベイズ的線形回帰モデル，モデル平均化法などのより発展した内容について丁寧に解説されています． 伊庭幸人・種村正美・大森裕浩・和合肇・佐藤整尚・高橋明彦『計算統計II』 かなりボリュームのある内容の本です．基本的な話題として，MCMCの基礎や標準的な統計モデルにおけるベイズ推論に関して数

東京大学・株式会社Nospareの菅澤です． 今回は空間データに対する回帰分析として最も有名な地理的加重回帰(GWR; Geographically Weighted Regression)について紹介します． 空間データと空間異質性 緯度・経度などの位置情報が付随したデータは一般的に空間データと呼ばれます．このようなデータは不動産価格，犯罪の発生件数，地域別の選挙投票率など，様々な場面で登場します． 具体的な問題設定として，$y_i$ $(i=1,\ldots,n)$を興味のある被説明変数とし，それに対する説明変数を$x_i$とします．(複数種類の説明変数がある場合，$x_i$はベクトルになります．) また，各データに付随する位置情報を$s_i$とします． 通常の線形回帰分析では以下のようなモデルを想定します． このモデルの特徴は「説明変数が被説明変数に与える効果が地点に依らず均一」とい

東京大学空間情報科学研究センター・株式会社Nospareの菅澤です． 今回は最近の研究成果「ロバストなベイズ的回帰分析のための新しい誤差分布」について紹介いたします． モデルの仮定から大きく逸脱したデータのことを一般的に外れ値と言います．多くの統計手法は外れ値に大きな影響を受けてしまうことが知られており，推定結果に深刻なバイアスが生じる危険性があります． 簡単な例として以下のような回帰分析の例を考えてみます．(データは擬似的により生成したものです．) 上図では赤線が真の回帰直線を表します．青線が通常の線形回帰分析によって推定された直線ですが，右上部にある外れ値らしきデータに影響を受けて真の傾きよりも大きい値が推定されてしまっています． この場合の簡単な対処法としては外れ値らしきデータを取り除いてから解析をすることですが，外れ値の特定は必ずしも容易ではありません．今回のようにデータを図示でき