R/Python の線形回帰では完全な多重共線性のある入力データにどう対処しているか？

前提 設定 n 組の目的変数 y_i と p-1 個の説明変数 x_{1i}, x_{2i}, ..., x_{p-1,i} からなるデータセット(i=1, 2, ..., n)をもとに、線形回帰モデルを作成する： y_i = \beta_0 + \beta_1 x_{1i} + \beta_2 x_{2i} + ... \beta_{p-1} x_{p-1,i} + \varepsilon_i. ただし、\varepsilon_i は独立同時な分布に従う誤差項とし、その期待値は E[\varepsilon_i] = 0、分散は V[\varepsilon] = \sigma^2 とする。 この時上記のモデル式は、目的変数ベクトル \boldsymbol{Y} = (y_1, y_2, ..., y_n)^\top、計画行列 \boldsymbol{X}、回帰係数ベクトル \boldsym

[misshiki]

“R/Python の代表的な統計・機械学習パッケージの線形回帰では、回帰係数の推定に QR 分解か擬逆行列のいずれかが用いられていた。”