ノルム

ベクトルの「長さ」を測る関数。 $\Vert x\Vert$ と書く。

満たすべき条件#

1. $\Vert x\Vert \ge 0$、$\Vert x\Vert =0⟺x=0$
2. $\Vert cx\Vert =|c|\Vert x\Vert$
3. $\Vert x+y\Vert \le \Vert x\Vert +\Vert y\Vert$（三角不等式）

これを満たせば何でもノルム。長さの測り方は 1 つではない。

代表的なノルム#

$$\Vert x{\Vert }_p={\left(\sum _i|x_i{|}^p\right)}^{1/p}$$

ノルム	式	性質
$L_1$	$\sum \Vert x_i\Vert$	疎な解を導く（Lasso）
$L_2$	$\sqrt{\sum x_i^2}$	内積から誘導される。回転不変
$L_{\infty }$	$\max \Vert x_i\Vert$	最大成分だけを見る

選び方で結果が変わる#

正則化に $L_1$ を使うと係数が 0 になる（変数選択が起きる）。 $L_2$ では 0 に近づくが 0 にはならない。 これは $L_1$ 球が座標軸上に尖った頂点を持つためで、 最適解がそこに当たりやすい。

深層学習の正則化で $L_1$ と $L_2$ を 使い分ける理由がここにある。

行列のノルム#

行列にもノルムがある。作用素ノルム（スペクトルノルム）は

$$\Vert A{\Vert }_2=\underset{x\ne 0}{\max }\frac{\Vert Ax\Vert }{\Vert x\Vert }={\sigma }_{\max }(A)$$

最大特異値に一致する。 条件数 $\kappa ={\sigma }_{\max }/{\sigma }_{\min }$ の定義に使われる。

参考文献#

• Lloyd N. Trefethen, David Bau III. Numerical Linear Algebra. SIAM, 1997. https://doi.org/10.1137/1.9780898719574
• Sheldon Axler. Linear Algebra Done Right, 4th ed. Springer, 2024.（全文公開） https://linear.axler.net/