実験設計
仮説を確かめられる形で、実験の条件を決める。
変数#
| 種類 | 内容 |
|---|---|
| 独立変数 | 自分で変えるもの（手法、パラメータ） |
| 従属変数 | 測るもの（指標） |
| 統制変数 | 固定するもの（問題、初期値、計算環境） |
| 交絡因子 | 意図せず影響するもの |
一度に 1 つだけ変えるのが基本。 2 つ同時に変えると、どちらが効いたか分からない。
交絡#
新手法を新しい GPU で、旧手法を古い GPU で測った
→ 速いのは手法のおかげか、GPU のおかげか分からない差が出た原因が複数考えられる状態を避ける。
| 対処 | 内容 |
|---|---|
| 統制 | 条件を揃える |
| 無作為化 | 割り当てを乱数で決める |
| 反復 | 順序の影響を平均化する |
| 盲検 | 評価者が条件を知らない |
標本数#
少なすぎると、実際に差があっても検出できない。
| 要素 | 影響 |
|---|---|
| 効果量が大きい | 少数で足りる |
| ばらつきが大きい | 多数が要る |
| 有意水準を厳しく | 多数が要る |
事前に検出力分析をして必要数を見積もるのが望ましい。 「有意になるまで標本を足す」のは p 値ハッキング。
よくある不備#
| 不備 | 内容 |
|---|---|
| チェリーピッキング | 良い結果の条件だけ報告する |
| 調整の不均衡 | 自分の手法だけ丁寧に調整する |
| テストデータでの調整 | 評価用データで選択する |
| 1 回だけの実行 | 確率的な手法で致命的 |
| 弱いベースライン | 比較対象を有利に扱わない |
3 番目は機械学習で特に頻出。 訓練・検証・テストの分離を守り、 テストは最後に 1 回だけ使う。
参考文献#
- Douglas C. Montgomery. Design and Analysis of Experiments, 10th ed. Wiley, 2019.
- Jacob Cohen. Statistical Power Analysis for the Behavioral Sciences, 2nd ed. Routledge, 1988.
- John P. A. Ioannidis. Why Most Published Research Findings Are False. PLoS Medicine 2(8), 2005. https://doi.org/10.1371/journal.pmed.0020124