ハイパーパラメータ

アルゴリズム自身の設定値。比較実験で最も操作されやすい部分。

公平性の問題#

提案手法だけを丁寧に調整し、比較対象は既定値で走らせる。 これが最もよくある不公平で、しかも論文からは見抜きにくい。

公平な比較の条件は、 同じ手間（調整の試行回数）を全手法にかけること。 Bergstra らのランダム探索による 調整のように、手順を明示できる方法が望ましい。

手法ごとの調整の重さ#

手法	主なパラメータ	調整の必要性
CMA-ES	$\lambda$、${\sigma }^{(0)}$	小さい。既定値がよく効く
PSO	$w$、$c_1$、$c_2$、トポロジー	大きい
ABC	蜂の数、limit	中程度
焼きなまし法	$T_0$、冷却、近傍	大きい

調整がほとんど要らないこと自体が手法の性能である、という見方が重要。 CMA-ES が標準的な比較対象になっているのは、 既定値のまま走らせても妥当な結果が出るため。

二重降下ならぬ二重最適化#

ハイパーパラメータ調整そのものが最適化問題になる。 この計算コストを本体のコストに含めるかどうかで、 公平性の議論が変わる。含めるのが筋だが、 実際にそうしている論文は少ない。

参考文献#

• James Bergstra, Yoshua Bengio. Random Search for Hyper-Parameter Optimization. JMLR 13, 2012. https://jmlr.org/papers/v13/bergstra12a.html
• Marius Lindauer et al. SMAC3: A Versatile Bayesian Optimization Package for Hyperparameter Optimization. JMLR 23, 2022. https://jmlr.org/papers/v23/21-0888.html
• Nikolaus Hansen et al. COCO: A Platform for Comparing Continuous Optimizers in a Black-Box Setting. Optimization Methods and Software 36(1), 2021. https://doi.org/10.1080/10556788.2020.1808977