再現実験
他者の報告した結果を、自分で確かめる。
再現性の危機#
複数の分野で、 公表された結果の再現率が低いことが報告されている。
| 分野 | 報告 |
|---|---|
| 心理学 | 大規模な追試で再現率が低かった (2015) |
| 医学・生物学 | 産業界の追試でも再現が困難という報告 |
| 計算機科学 | コード・データの非公開が障害 |
Nature の 1,576 人への調査では、 7 割以上が他者の実験を再現できなかった経験を持つと答えた。
再現できない原因#
| 原因 | 内容 |
|---|---|
| 情報の不足 | ハイパーパラメータ、前処理が書かれていない |
| コードが無い | 論文の記述だけでは実装が定まらない |
| データが無い | 非公開、あるいは変わってしまった |
| 環境の差 | ライブラリのバージョン、浮動小数点 |
| 選択的報告 | 最良の実行だけが報告されている |
| 誤り | 単純なバグ |
再現しやすい報告#
| 項目 | 内容 |
|---|---|
| コードの公開 | コミットハッシュ付き |
| データ | 公開、または取得方法 |
| 全ハイパーパラメータ | 探索範囲と選び方も |
| 乱数の種 | と実行回数 |
| 環境 | ライブラリ、ハードウェア |
| 生の結果 | 集計前の値 |
主要な機械学習会議では 再現性チェックリストの提出が求められるようになっている。
再現できなかったとき#
すぐに「誤りだ」と結論しない。
1. 自分の実装を疑う
2. 条件の差を洗い出す
3. 著者に問い合わせる
4. それでも再現しないなら、条件を明記して報告する再現失敗の報告自体が価値ある貢献になる。 ベースラインの再検証で 分野の理解が修正された例は多い。
参考文献#
- Monya Baker. 1,500 scientists lift the lid on reproducibility. Nature 533, 2016. https://doi.org/10.1038/533452a
- Open Science Collaboration. Estimating the reproducibility of psychological science. Science 349(6251), 2015. https://doi.org/10.1126/science.aac4716
- Joelle Pineau et al. Improving Reproducibility in Machine Learning Research. JMLR 22, 2021. https://jmlr.org/papers/v22/20-303.html