統計的検定
観測された差が、偶然では説明しにくいことを示す手続き。
枠組み#
帰無仮説 H₀: 差は無い
↓
H₀ が正しいと仮定して、
観測された差以上のものが得られる確率（p 値）を計算する
↓
p が小さければ H₀ を棄却する主な検定#
| 状況 | 検定 |
|---|---|
| 2 群、正規分布を仮定 | t 検定 |
| 2 群、分布を仮定しない | Mann-Whitney U、Wilcoxon |
| 3 群以上 | ANOVA、Kruskal-Wallis |
| 複数手法 × 複数問題 | Friedman + 事後検定 |
| 対応のある比較 | 対応のある t 検定、Wilcoxon 符号順位 |
アルゴリズムの比較では、 性能の分布が正規とは限らないので、 ノンパラメトリック検定が推奨される。 Demšar の論文がこの分野の標準的な指針。
p 値の誤解#
| 誤解 | 正しくは |
|---|---|
| p は「H₀ が正しい確率」 | 違う。 H₀ を仮定したときのデータの確率 |
| p < 0.05 なら重要 | 効果の大きさとは無関係 |
| p > 0.05 なら差が無い | 検出できなかっただけかもしれない |
| p が小さいほど効果が大きい | 標本数が多いだけかもしれない |
標本数を増やせば、実質的に無意味な差でも有意になる。 だから効果量を併記する必要がある。
効果量と信頼区間#
p 値 : 「差があるらしい」
効果量 : 「どれくらいの差か」 ← Cohen's d、Cliff's delta
信頼区間 : 「どの範囲にありそうか」ASA（米国統計学会）の声明は、 p 値だけに基づく判断をやめるよう明確に述べている。
多重比較#
| 補正 | 性質 |
|---|---|
| Bonferroni | 単純、保守的すぎる |
| Holm | Bonferroni より強力 |
| Benjamini-Hochberg | 偽発見率を制御。多数の比較向き |
「いろいろ試して有意だったものを報告する」は p 値ハッキングであり、再現しない結果を生む。
参考文献#
- Ronald L. Wasserstein, Nicole A. Lazar. The ASA Statement on p-Values. The American Statistician 70(2), 2016. https://doi.org/10.1080/00031305.2016.1154108
- Janez Demšar. Statistical Comparisons of Classifiers over Multiple Data Sets. JMLR 7, 2006. https://jmlr.org/papers/v7/demsar06a.html
- Joaquín Derrac et al. A practical tutorial on the use of nonparametric statistical tests. Swarm and Evolutionary Computation 1(1), 2011. https://doi.org/10.1016/j.swevo.2011.02.002
- John P. A. Ioannidis. Why Most Published Research Findings Are False. PLoS Medicine 2(8), 2005. https://doi.org/10.1371/journal.pmed.0020124