回帰

連続値を予測する。 統計側の回帰と同じ枠組み。

線形回帰#

$$\hat{y}=w^{\top }x+b$$

二乗誤差を最小化すると、正規方程式で解ける。

$$\hat{w}={(X^{\top }X)}^{-1}{X}^{\top }y$$

閉じた形の解があるのが線形回帰の大きな利点。 反復も学習率の調整も要らない。

二乗誤差の根拠#

誤差が正規分布に従うと仮定したときの最尤推定。

$$y=w^{\top }x+\epsilon ,\epsilon \sim 𝒩(0,{\sigma }^2)⟹\arg \max \log L=\arg \min \sum {(y_i-w^{\top }{x}_i)}^2$$

外れ値に弱いのは、二乗が大きな誤差を強く罰するため。 頑健にしたければ Huber 損失などを使う。

正則化#

手法	罰則	効果
Ridge	$\lambda \Vert w{\Vert }_2^2$	係数を小さく。条件数を改善
Lasso	$\lambda \Vert w{\Vert }_1$	係数が0 になる。変数選択
Elastic Net	両方	相関する変数群をまとめて扱う

$L_1$ で 0 になるのは、 $L_1$ 球が座標軸上に尖った頂点を持つため。

非線形化#

特徴量を非線形変換すれば、線形回帰のまま非線形な関係を扱える。 カーネル法、多項式回帰、そして ニューラルネットワークは この延長線上にある。

参考文献#

• Trevor Hastie, Robert Tibshirani, Jerome Friedman. The Elements of Statistical Learning, 2nd ed. Springer, 2009.（全文公開） https://hastie.su.domains/ElemStatLearn/
• Christopher M. Bishop. Pattern Recognition and Machine Learning. Springer, 2006. https://www.microsoft.com/en-us/research/publication/pattern-recognition-machine-learning/