回帰直線【意味と使い方を解説】

回帰直線は2変数データに対して、片方のデータから、もう一つの方のデータの関係や予測を行う方法です。回帰直線において興味があるのは回帰係数の推定です。回帰係数は最小二乗法を用いて推定します。この結果は公式化されているので、比較的計算しやすいというのもひとつの特徴です。

回帰直線では温度のデータ$x$から湿度のデータ$y$を説明したり予測したりしようとする方法です。このとき説明する方の変数$x$を説明変数（独立変数、予測変数など explanatory variable, independent variable）とよび、説明される方の変数$y$を応答変数（目的変数、従属変数、被説明変数など response variable, dependent variable, explained variable）といいます。

回帰直線(regression line) 回帰係数の推定方法 残差(residual)

2変数データ$\$について$x$を説明変数、$y$を目的変数とします。回帰係数$\alpha、\beta$を推定したものを$\widehat、\widehat$とします。このとき観測値$y_$を予測された値$\widehat_$は$$\widehat_=\widehat+\widehatx_$$ となります。このとき、$y_$と$\widehat_$の差を残差といい、残差$e_$は次のように定義されます。

\begin e_&=y_-\widehat_\\ &=y_-(\widehat+\widehatx_) \end 最小二乗法(LSM, least squares method) 最小二乗法とは残差平方和を用いて定義されており、残差平方和$S(\widehat,\widehat)$は残差を用いてで定義されています。最小二乗法は残差平方和$S(\widehat,\widehat)$を最小にするような、$\alpha、\beta$を求める方法になります。 回帰係数の最小二乗推定量 回帰係数を最小二乗法によって求めた推定量を最小二乗推定量と呼ぶことにします。最小二乗推定量は次の式のようになります。ここで、$s_$は$x$と$y$の共分散、$s_^$は$x$の分散を表します。回帰係数の最小二乗推定量の証明

残差平方和の式を見てみると$$S(\widehat,\widehat) = \sum_^\< y_-(\widehat+\widehatx_) \>^$$となります。$\widehat、\widehat$にそれぞれ注目すると少なくとも下に凸の放物線になることが分かります。よって、$\widehat、\widehat$それぞれで微分した式がイコール0になるように$\widehat、\widehat$を計算するといいことがわかります。それぞれで微分してイコール0とすると

という連立方程式がたてられます。この式を正規方程式といいます。この連立方程式を解くと、求めたい結果が得られます。回帰直線のまとめ comment コメントをキャンセル関連記事 t分布（スチューデントのt分布）相関係数【データの関係を数値化する】

学習レベル：高校生難易度：★☆☆☆☆ 相関や散布図・クロス表では相関という言葉の定義と相関関係を視覚的に表す方法を紹介しました。しかし、視 .

相関とは【データの関係を知る】

学習レベル：中学生難易度：★☆☆☆☆ 2変数のデータが得られたとき、1番気になることは2つのデータがどのような関係があるかです。このように .

偏相関係数【みかけ上の相関への対策】

学習レベル：高校生難易度：★☆☆☆☆ 相関関係は因果関係を表すものではないことは＜相関の記事＞で説明しました。因果関係がないのにも関わらず .

散布図とクロス表【相関を視覚的に表す】

学習レベル：中学生難易度：★☆☆☆☆ 相関関係を視覚的に表す方法を2種類紹介します。ひとつは図で表す方法で、もうひとつは表で表す方法です。 .