回帰 — 知識ノート

説明変数から目的変数を予測する関係式を求める。

y = β_{0} + β_{1} x_{1} + \dots + β_{p} x_{p} + ε

最小二乗法#

残差二乗和を最小化する。

\hat{β} = {(X^{⊤} X)}^{- 1} X^{⊤} y

これは射影そのもので、 $y$ を $X$ の列空間へ落とした点が予測値。残差が列空間と直交するという条件から導かれる。

説明変数どうしが強く相関すると $X^{⊤} X$ が特異に近づき、条件数が悪化する。係数の推定が不安定になり、符号が反転することさえある。

対処は正則化。リッジ回帰は $λ I$ を足して条件数を改善する。

\hat{β} = {(X^{⊤} X + λ I)}^{- 1} X^{⊤} y

Lasso（ $L_{1}$ 正則化）なら係数が 0 になり、変数選択が同時に行われる。

Larry Wasserman. All of Statistics: A Concise Course in Statistical Inference. Springer, 2004. https://doi.org/10.1007/978-0-387-21736-9
Trevor Hastie, Robert Tibshirani, Jerome Friedman. The Elements of Statistical Learning, 2nd ed. Springer, 2009.（全文公開） https://hastie.su.domains/ElemStatLearn/