完全な多重共線性がある場合も含めた線形回帰係数推定量の一般形とその性質

説明変数同士に線型結合で表せるような関係がある場合、「完全な多重共線性がある」という。 完全な多重共線性があると、線形回帰では「係数推定が行えない」と考えられることも多いが、実際には係数推定量が一意に定まらないだけで推定量自体は存在する。 この記事では、Moore-Penrose の逆行列（ないし一般化逆行列）を用いることで、多くのテキストに載っている線形回帰係数の最小二乗推定量を拡張し、完全な多重共線性があるような場合にも適用可能な推定量が求められることを紹介する。 はじめに 変数がp-1個で定数項を含む線形回帰 y_i = \beta_0 + \beta_1 x_{1i} + \beta_2 x_{2i} + ... + \beta_{p-1} x_{p-1, i} + \varepsilon_i, \quad i=1, 2, ..., n\\ E[\varepsilon_i]=0,