最小自乗法というのがあります。このブログでも何回か扱っており、大学でも実験レポートを書くときなどにも使ったりします。得られたデータをもっともよく表す直線を求めるとか。最小自乗法は、その理屈を理解すれば確かに誤差が最小になることは分かります。だからまあそれでよいと言えばよいのです。しかし、実は幾何学的な意味があります。こうしたイメージは大事です。数学のいろいろな証明はもちろんイメージだけではできませんが、イメージを元にして「ああ、こうすれば証明できそうだ」と分かることが多いからです。
さて、空間ベクトル u を u = sa + tb ……① と表すことを考えます。このとき、u 、a 、b は同一平面上に乗っている保証はないとします。つまり、①が（厳密に）成立する保証はないということです。u1 = sa + tb ……② とおきましょう。次の式の値 J が最小になるよう、ｓ、ｔを決めることにします。ここで a 、b は直交する単位ベクトルであるとしておきます。
J を最小にするとは、ある意味（誤差の成分の2乗の和が最小）で「なるべくよい近似をしよう」ということです。これが最小二乗法です。
とおきましょう（内積に対しても積の導関数の公式は使えます）。これが成立するとき、J が一番小さくなることが分かります。これより s = u・a、同様に t = u・b が得られます。これらが同時に成り立つとき、J は最小になります。これで最小自乗法によって適切な s、t が求まりました。
実はこのとき、 u1＝sa + tb は空間内の点 u から a 、b が張る平面へ下ろした垂線の足です。実際、
(uーu1)・a ＝(uー(sa + tb))・a = u・a ー s = 0
同様に (uーu1)・b = u・b ー t = 0
となるからです。これが最小自乗法の幾何学的な意味です。
次元が上がっても証明はあまり変わりません。一般的な説明をするために添え字つきの文字を使うくらいです。
何回か紹介している金谷健一先生の本にある証明を3次元の話に書き換えました。本質的な部分は同じです。
何回読んでも得るところのある、凄い本だと思います。
