アブレーション
提案手法から構成要素を 1 つずつ取り除き、 何が効いているのかを明らかにする実験。
提案手法（A + B + C） … 精度 92%
A + B（C を除く） … 89% → C の寄与 3%
A + C（B を除く） … 91% → B の寄与 1%
B + C（A を除く） … 78% → A の寄与 14%なぜ必要か#
「全部入りで良くなった」だけでは、 何が効いたのか分からない。
| 分かること | 内容 |
|---|---|
| 各要素の寄与 | どれが本質か |
| 不要な要素 | 効いていないものは削れる |
| 主張の裏付け | 「B が重要」という説明が正しいか |
| 再現の助け | 実装で何を優先すべきか |
寄与が無い要素を残しておくのは、 複雑さを増すだけで読者にも実装者にも不利益。
設計#
| 方式 | 内容 |
|---|---|
| 除去型 (leave-one-out) | 全部から 1 つ外す |
| 追加型 | 何も無い状態から 1 つずつ足す |
| 置換型 | 単純なものに差し替える |
相互作用に注意#
要素どうしが独立に効くとは限らない。
A 単独では効かない
B 単独では効かない
A + B で大きく効く ← 相互作用除去型だけでは相互作用が見えないので、 重要な組み合わせは追加型でも確かめる。
条件を揃える#
要素を外したとき、 それ以外は変えない。
誤: C を外したついでにハイパーパラメータも再調整した
正: 同じ条件で外す（必要なら再調整版も別に示す）再調整すると「C が無くても調整で埋まる」のか 「C 自体が効く」のか区別がつかない。
参考文献#
- Richard Meyes et al. Ablation Studies in Artificial Neural Networks. 2019. https://arxiv.org/abs/1901.08644
- Zachary C. Lipton, Jacob Steinhardt. Troubling Trends in Machine Learning Scholarship. 2018. https://arxiv.org/abs/1807.03341
- David Sculley et al. Winner's Curse? On Pace, Progress, and Empirical Rigor. ICLR Workshop, 2018. https://openreview.net/forum?id=rJWF0Fywf