線形回帰のパラメータを求める代表的な方法である「最小二乗法」の説明として、最も適切なものを1つ選びなさい。
- ①予測値と実測値の差をそのまま足し合わせた値が、最大になるようにパラメータを決める。
- ②予測値と実測値の差を2乗して足し合わせた値が、最大になるようにパラメータを決める。
- ③予測値と実測値の差を2乗して足し合わせた値が、最小になるようにパラメータを決める。
- ④予測値と実測値の差の絶対値のうち、最大のものが最小になるようにパラメータを決める。
答えと解説を見る
線形回帰は、説明変数(特徴量)と目的変数の関係を直線(または平面など)で表し、数値を予測する手法です。その直線の傾きや切片といったパラメータを決める代表的な方法が最小二乗法で、予測値と実測値の差(残差)をそれぞれ2乗し、それらを合計した値(残差平方和)が最も小さくなるようにパラメータを決めます。差を2乗するのは、プラスとマイナスの誤差が打ち消し合わないようにするためです。
他の選択肢が不適切な理由
・差をそのまま足した値を最大にする:差をそのまま足すとプラスとマイナスが打ち消し合ううえ、誤差を最大にするのは目的と逆です。
・差を2乗して足した値を最大にする:2乗して足し合わせる点は同じですが、それを最大にすると予測がどんどん外れていきます。最小二乗法は「最小」にする方法です。
・差の絶対値の最大のものを最小にする:これは最も大きく外れたデータだけに注目する別の考え方(ミニマックス近似)で、最小二乗法ではありません。最小二乗法はすべてのデータの差の2乗の合計を見ます。
覚え方のポイント
説明変数が1つなら「単回帰分析」、2つ以上なら「重回帰分析」と呼びます。最小二乗法の考え方は、回帰の評価指標である平均二乗誤差(MSE)にもつながっています。