ベースライン
比較の基準となる手法。 「良くなった」は、必ず何かとの比較で意味を持つ。
種類#
| 種類 | 役割 |
|---|---|
| 自明なベースライン | ランダム、最頻値、恒等写像 |
| 単純な手法 | 線形回帰、最近傍法 |
| 既存の最良手法 (SOTA) | 現時点の到達点 |
| 変種 | 提案手法から一部を除いたもの（アブレーション） |
自明なベースラインは軽視されがちだが重要。 不均衡なデータでは「常に多数派と答える」だけで 正解率 95% になることがある。
公平な比較#
| 条件 | 内容 |
|---|---|
| 同じ計算資源 | 関数評価回数、実行時間、パラメータ数 |
| 同じ調整の手間 | 自分の手法だけ丁寧に調整しない |
| 同じデータ分割 | 同じ訓練・テスト集合 |
| 同じ評価指標 | 有利な指標だけ選ばない |
| 公式実装 | 自分で書き直すと弱くなりがち |
弱いベースラインとの比較は、 主張を弱くするだけでなく誤らせる。
「SOTA を超えた」の落とし穴#
近年、複数の分野で
- 適切に調整された古い手法が、 新しい手法と同等以上だった
- 改善の多くはハイパーパラメータ調整によるもので、 手法の新規性によるものではなかった
という再検証の報告が繰り返されている。
推薦システム、深層学習の最適化器、 メトリック学習など複数の領域で同様の指摘がある。
「新しいから良い」ではなく、 「同じ条件で測っても良い」を確かめる。
報告#
- ベースラインの出典と設定を明記する
- 自分で実装した場合はそう書き、 原論文の数値と一致するか確認する
- 負けた条件も隠さない
すべての条件で勝つ手法は稀であり、 どの条件で有効かを示す方が誠実で有用。
参考文献#
- Maurizio Ferrari Dacrema, Paolo Cremonesi, Dietmar Jannach. Are We Really Making Much Progress? RecSys, 2019. https://doi.org/10.1145/3298689.3347058
- Kevin Musgrave, Serge Belongie, Ser-Nam Lim. A Metric Learning Reality Check. ECCV, 2020. https://arxiv.org/abs/2003.08505
- Robin M. Schmidt, Frank Schneider, Philipp Hennig. Descending through a Crowded Valley: Benchmarking Deep Learning Optimizers. ICML, 2021. https://arxiv.org/abs/2007.01547