統計的比較

確率的な手法の優劣は、1 回の実行では決まらない。 複数試行の分布を比べる必要がある。

平均と標準偏差では足りない#

最適化の結果の分布は、多くの場合正規分布にならない。 局所解に落ちた試行と抜け出せた試行が混ざると二峰になり、 外れ値も出る。t 検定の前提が成り立たない。

そのためノンパラメトリック検定が推奨される。

場面	検定
2 手法、同じ問題群	Wilcoxon の符号順位検定
2 手法、独立した試行	Mann-Whitney の U 検定
3 手法以上、複数問題	Friedman 検定 + 事後検定

多重比較の補正#

複数の関数・複数の手法で検定を繰り返すと、 偶然に有意差が出る確率が積み上がる。 20 回検定すれば、有意水準 5% でも 1 回は偶然「有意」になる。

Bonferroni、Holm、Hochberg などの補正を適用する。 Derrac らは進化計算分野での具体的な手順を示しており、 この分野の事実上の標準になっている。

効果量も見る#

$p$ 値は「差があるか」しか言わない。 差の大きさは効果量で測る。 試行回数を増やせば、実用上どうでもいい差でも $p<0.05$ になる。

「統計的に有意」と「実用的に意味がある」は別。

試行回数#

30 回程度が慣例だが、根拠は薄い。 検出したい差の大きさから検出力分析で決めるのが本来の筋。 少なくとも試行回数を明記することが最低条件。

参考文献#

• Joaquín Derrac et al. A practical tutorial on the use of nonparametric statistical tests as a methodology for comparing evolutionary and swarm intelligence algorithms. Swarm and Evolutionary Computation 1(1), 2011. https://doi.org/10.1016/j.swevo.2011.02.002
• Janez Demšar. Statistical Comparisons of Classifiers over Multiple Data Sets. JMLR 7, 2006. https://jmlr.org/papers/v7/demsar06a.html
• Salvador García et al. A study on the use of non-parametric tests for analyzing the evolutionary algorithms' behaviour. Journal of Heuristics 15, 2009. https://doi.org/10.1007/s10732-008-9080-4