はてなブックマーク

はじめに 線形モデルの分位点回帰についてPythonによる実装を交えてまとめました．内容に誤りがありましたら，ご指摘いただけますと幸いです． 分位点回帰とは 分位点回帰とは，分位点について回帰モデルを考える手法です． 通常の線形回帰モデル 多くのデータ分析では，説明変数ベクトル$\boldsymbol{X}_i$の変化が被説明変数$Y_i$の分布にどのような影響を与えているかに関心があります．その際，分布関数だけを眺めてみても$Y_i$と$\boldsymbol{X}_i$の関係を直感的に理解するのは難しいです．そのため，分布の代表値に焦点を当てて分析を行うことが多く，通常の回帰モデルでは条件付き期待値 $$ E[Y_i|\boldsymbol{X}_i=\boldsymbol{x}] = \int _{-\infty}^{\infty} y f _{Y|X}(y|\boldsymbol{

はじめに 因果推論を行う手法の1つとして、線形回帰が挙げられます。今回は、その線形回帰の拡張とも言えるリッジ回帰(Ridge回帰)やラッソ回帰(Lasso回帰)を用いて因果効果を推定してみるとどうなるのか、Pythonによるシミュレーションと共にまとめました。内容に誤り等ございましたら、ぜひご指摘いただけますと幸いです。 結論 リッジ回帰やラッソ回帰を用いると、うまく因果効果を推定することができません。 これは、リッジ回帰やラッソ回帰を行うことで、線形回帰（線形回帰モデルをOLS推定）による推定値よりも汎化誤差が小さくなる一方で、不偏性と呼ばれる因果効果をバイアスなく推定するために必要な性質が失われてしまうからです。 通常の線形回帰における最小二乗法(OLS)では、下記の損失関数を最小化するパラメータを求めます。

はじめに 予測モデル（機械学習モデル）を解釈するのに有用なSHAPを用いて因果関係を説明することができるか、についてPythonによるシミュレーションを交えてまとめました。内容に誤り等ございましたら、ご指摘いただけますと幸いです。 結論 基本的に、SHAPで因果関係は説明できません。これは、SHAPが予測モデルの因果ではなく相関を明らかにするものであるからです。 そこで今回は、予測モデルをSHAPで解釈する上でありがちなミスリーディングや、それに関連する因果効果を推定するためのアプローチについて記載しています。 そもそもSHAPとは SHAPとはSHapley Additive exPlanationsの略で、協力ゲーム理論のShapley Valueを機械学習に応用した手法です。「その予測モデルがなぜ、その予測値を算出しているか」を解釈するためのツールとしてオープンソースのライブラリが開

はじめに A/Bテストを実施する際にしばしば発生するノンコンプライアンス（不遵守）という問題とその対処法について、具体例とPythonによるシミュレーションを交えながらまとめました。内容に誤り等ございましたらご指摘いただけますと幸いです。 A/Bテスト（RCT）とは A/Bテストとは異なる複数のパターンを比較する手法の総称です。 例えば、「パターンAとパターンBのWeb広告を配信し、クリック率を比較する」というものです。そして、その結果から「クリック率が低い方のWeb広告の配信をやめ、クリック率が高い方のWeb広告を配信を増やす」という意思決定に繋げます。このようなプロセスを繰り返すことで、意思決定の精度（ここで言う広告のクリック率）を向上させていくことがA/Bテストの目的です。 データ分析を生業とする人たちの中ではもう少し厳密に「2つ（以上）の実験群（コントロール群と介入群）を比較するコ