分散分析 — 知識ノート

3 つ以上のグループの平均に差があるかを調べる。 ANOVA。

なぜ t 検定を繰り返さないのか#

3 群なら 3 回、5 群なら 10 回の比較になる。各回で $α = 0.05$ なら、少なくとも 1 回誤って有意と判定する確率は

1 - {0.95}^{10} \approx 0.40

40%。 これが多重比較の問題で、 ANOVA は全体をまとめて 1 回で検定する。

\underset{総変動}{\underset{⏟}{S S_{全体}}} = \underset{群の違い}{\underset{⏟}{S S_{群間}}} + \underset{誤差}{\underset{⏟}{S S_{群内}}}

群間変動が誤差に比べて大きければ、群の違いが本物と判断する。比が $F$ 統計量。

ANOVA は「どこかに差がある」としか言わない。どの組に差があるかは事後検定（Tukey HSD など）で調べる。

複数の手法を複数の問題で比較する場面がこれにあたる。ただし正規性の仮定が満たされないことが多いため、ノンパラメトリックな Friedman 検定 + Nemenyi 事後検定がこの分野では標準的に使われる。

Joaquín Derrac et al. A practical tutorial on the use of nonparametric statistical tests as a methodology for comparing evolutionary and swarm intelligence algorithms. Swarm and Evolutionary Computation 1(1), 2011. https://doi.org/10.1016/j.swevo.2011.02.002
Janez Demšar. Statistical Comparisons of Classifiers over Multiple Data Sets. JMLR 7, 2006. https://jmlr.org/papers/v7/demsar06a.html