何かの実験をしたとしましょう。x軸、y軸を描きます。
例えば、図１のような結果です。実験結果ですから誤差は避けられません。結果の点は一直線上には乗っていませんね。このとき、ある人は「ｘ、ｙの関係はこれだ！」と図２のように直線を引くかも知れません。別の人は図３のように引くかも。どちらが正しいんでしょうか。あるいは、もっといい直線があるのかも知れません。
数学に最小２乗法というのがあります。こんなときにベストの直線を求めるための方法です（実は直線には限らないが）。細かな理屈は書きませんが、高校の数学（数列のΣと、微分くらい）が分かっていれば理解できる程度です。図４を見てください。
とおきましょう。Sは直線からのズレの2乗の和です。このSが小さい方がいいですよね。だから図２と図３で、このやり方でSを計算して、Sが小さい方が優れた直線だ、と判断してよいでしょう。これが最小２乗法の考え方です。
2乗の和ではなく、S＝AB＋CD＋EF＋GHでもいいのかも知れません。こっちも、まあSは誤差の（絶対値の）和ですから、Sが小さいならよい直線だ、という点は同じです。しかし通常、2乗の和を使うのです。理由のひとつは計算のしやすさでしょう（絶対値が式に混ざると、例えば微分を使いにくくなる）。
高校生の皆さんは、大学で理系に進んで物理や化学などの実験をやれば結果の整理で最小２乗法を使うようになります。ぼくは『公式集』（春日正文、矢野健太郎1998科学振興社モノグラフ）で高校生の時初めてこういう方法があることを知り、「へえー」と思いました（改定されています。ぼくが見たのは古い版）。最小2乗法の理屈も説明されています。この本は高校数学がコンパクトにまとまられており、仕事をしている今でも頻繁に使います。例題もそれなりに載っており、マニアックというか、ちょっと面白い問題も入っていたりします。
いずれ書くつもりですが、式の本数が足りない連立方程式で最も適切っぽい解を求める方法を考えます。情報が足りているときは逆行列でよいですが、そうでないときは一般逆行列というものを用います。そのときに最小2乗法は中心的な役割を果たします。
