連立方程式を解きます。最初の2本でｘ、ｙが決まってしまうので、3本を満たす普通の意味の解はありませんが、なるべくうまい値を見つけます。
行列、ベクトルを使って考えるため、次のように書き換えます。
後の都合で、これをｘｐ＋ｙｑ＝ｂと書いておきましょう。つまり
とおくのです。また次のようにおきましょう。
さっきの式はさらに次のように書き換えられます。
つまりAｘ＝ｂと書けます。
さて、例えばｘ＝1，ｙ＝2としたときの右辺のベクトルと目標のベクトルを比較します。
引き算して成分を2乗し和をとると0＋1＋1＝2。この値は小さい方がよいですよね。こうしてｘ、ｙを「目標との差のベクトルの成分の2乗の和」が最も小さくなるように定める方法を最小2乗法と言います。
図で説明しましょう。
ｘｐ＋ｙｑ＝ｂ 、つまりAｘ＝ｂとうまい具合には行きません。ｐ、ｑが作る平面α上にｂがないからです。そこでｂを平面αに正射影したベクトルｃを考え、ｘｐ＋ｙｑ＝ｃ つまり Aｘ＝ｃ（Ax はα上のベクトル）となるようｘ、ｙを定めることにします。「次善の策」ということです。この「次善の策」のｘをｚと書きましょう。つまりAｚ＝ｃです。
さて、平面α上のベクトル Aｘに対し、Aｘ⊥(ｂ－ｃ) となればよいですね。つまり Aｘ・(ｂ－ｃ)＝0 となればよい。よって Aｘ・(ｂ－Aｚ)＝0。ここから少し変形します。
これで「次善の策」であるｚが求まりました。
最後、詰めです。この方法では ||ｂ－ｃ|| 、つまり誤差の成分の2乗の和（のルート）が最小になるのでした。つまり、さっきのｚ＝……で出た式が「最小2乗法」による答えです。
この内容は次の本にあります。初めての人に向け、大変丁寧に解説してあります。抽象的な議論でなく、具体的に話を進めています。
記号や説明はこちらの事情であちこち変えてしまっています。何度も紹介している『線形代数セミナー』（金谷健一2018共立出版）にも同様の説明がありますが、（こちらも大変分かりやすいのですが）抽象的な部分があります。記号の扱いに慣れていない方などは今回紹介した本の方がいいかも知れません。
実際にこれを使うのは今回例にした Aｘ＝ｂ をなるべくよく満たすｘを求める場面などで、このブログでも写真上の点から空間内の点を求める際に利用しています。でも上の式（ｚ＝……）を直接用いたわけではありません。Pythonで一般逆行列を求め、これを使ったのでした。最小2乗法でｘ、ｙを求めることは一般逆行列を使うことなのです。上の式（ｚ＝……）の中の
の部分がAの一般逆行列です。
最後に大事なことを。必要があればPythonなどのライブラリを使えばよいのですから、その意味では「今回の内容は知らなくても大丈夫」ということになります。しかしそればかりだと、理論を自分で勉強してゆくことができなくなってしまいます。多分、関係する本を読もうとしても手も足も出ないでしょう。状況次第で仕方ない場合もあるとは思いますが、やはり数学や物理、工学が好きなら自分で一歩一歩理解しながら知識を身につけるのが一番です。
