仮説検定

観測された差が偶然で説明できるかを判定する手続き。

手順#

1. 帰無仮説 $H_0$ を立てる（例: 2 手法の性能に差は無い）
2. 検定統計量を計算する
3. $H_0$ が正しいと仮定したときに、 その値以上に極端な結果が出る確率（$p$ 値）を求める
4. $p<\alpha$ なら $H_0$ を棄却する

2 種類の誤り#

	$H_0$ が真	$H_0$ が偽
棄却する	第 1 種の誤り ($\alpha$)	正しい
棄却しない	正しい	第 2 種の誤り ($\beta$)

$1-\beta$ が検出力。試行数が少ないと検出力が低く、 「差が無い」のではなく「差を検出できなかった」だけになる。

棄却できなかったことは、$H_0$ が正しいことを意味しない。

最適化実験での注意#

結果の分布が正規でないことが多いため、 t 検定よりノンパラメトリック検定（Wilcoxon、Mann-Whitney、Friedman）が推奨される。

複数の関数・手法で検定を繰り返すなら 多重比較の補正（Holm など）が必須。 20 回検定すれば $\alpha =0.05$ でも 1 回は偶然「有意」になる。

参考文献#

• Joaquín Derrac et al. A practical tutorial on the use of nonparametric statistical tests as a methodology for comparing evolutionary and swarm intelligence algorithms. Swarm and Evolutionary Computation 1(1), 2011. https://doi.org/10.1016/j.swevo.2011.02.002
• Larry Wasserman. All of Statistics: A Concise Course in Statistical Inference. Springer, 2004. https://doi.org/10.1007/978-0-387-21736-9
• Ronald L. Wasserstein, Nicole A. Lazar. The ASA Statement on p-Values: Context, Process, and Purpose. The American Statistician 70(2), 2016. https://doi.org/10.1080/00031305.2016.1154108