>正方行列であるという縛りはかからず,どんな行列でも良いと考えていいのでしょうか? いいです。具体例が一個あるとわかりやすいと思います。線形代数のほとんどは、連立方程式がらみです。連立方程式、 Ax=b において、Aがn×mで、n=m かつ detA≠0 なら、A^(-1)があるので、 x=A^(-1)・b (1) と解が決まります。しかし応用上は、n=mとは限らない時も、けっこうあります。そのような時でも、(1)の形に解が書けたら便利だよなぁ~、というのが、たぶん事の発端です。 n>mとします。この場合 x の次元はmで、bの次元はnとなり、条件過多になります。 このような場合、とんでもない幸運により、解 x が存在する時もありますが、存在しない時の方が普通です。しかし応用上は、なんらかの近似解は必要になります。そこで残差ノルム最小条件、 |b-Ax|^2=最小 をたいてい使います。

