仮説
検証可能な予測。 「こうなるはずだ」を、確かめられる形に書いたもの。
仮説: 手法 X は、多峰性の強い問題において、
同じ関数評価回数で手法 Y より高い成功率を示す満たすべき条件#
| 条件 | 内容 |
|---|---|
| 反証可能 | どんな結果なら「違った」と言えるか明確 |
| 具体的 | 対象、条件、指標が定まっている |
| 事前に立てる | データを見てから作らない |
| 理由がある | なぜそう予想するのか説明できる |
帰無仮説と対立仮説#
統計的検定の枠組みでは
帰無仮説 H₀: 差は無い
対立仮説 H₁: 差がある検定は H₀ を棄却できるかを調べる。 「差がある」ことを直接証明するのではなく、 **「差が無いとしたら、この結果は起こりにくい」**と示す。
そのため
- H₀ を棄却できない = 差が無い、ではない (検出できるだけの検出力が無かっただけかもしれない)
- 「差が無いことを示す」には同等性検定など別の設計が要る
HARKing#
結果を見てから仮説を作ること (Hypothesizing After the Results are Known)。
20 個の条件を試す → 1 つだけ有意 → それを最初からの仮説として書くを 20 回試せば、 偶然に 1 回は有意になる(多重比較)。 それを「予測どおり」と書くのは誤りで、 再現しない結果を量産する原因になる。
事前登録#
仮説と解析方法を、 データを取る前に公開しておく仕組み。
- HARKing と p 値ハッキングを構造的に防ぐ
- 否定的な結果も報告される(出版バイアスの緩和)
心理学の再現性危機を受けて広まり、 他分野にも波及している。
探索的な解析をしてはいけないのではなく、 確認的な解析と探索的な解析を区別して報告するのが要点。
参考文献#
- Norbert L. Kerr. HARKing: Hypothesizing After the Results are Known. Personality and Social Psychology Review 2(3), 1998. https://doi.org/10.1207/s15327957pspr0203_4
- Brian A. Nosek et al. The preregistration revolution. PNAS 115(11), 2018. https://doi.org/10.1073/pnas.1708274114
- John P. A. Ioannidis. Why Most Published Research Findings Are False. PLoS Medicine 2(8), 2005. https://doi.org/10.1371/journal.pmed.0020124