ベンチマーク関数
手法を比較するための性質が既知の目的関数。 最適解の位置と値が分かっているので、どこまで届いたかを測れる。
代表的な関数と、それが測るもの#
| 関数 | 性質 | 測っていること |
|---|---|---|
| Sphere | 凸・単峰・分離可能 | 基本的な収束速度 |
| Rosenbrock | 細長い曲がった谷 | 悪条件と変数間の相関への強さ |
| Rastrigin | 単峰の上に格子状の局所解 | 多峰性からの脱出 |
| Ackley | 平坦な外側 + 深い中心 | 平坦領域での探索 |
| Ellipsoid | 条件数を変えられる | スケール差への耐性 |
| Schwefel | 最適解が探索範囲の端 | 境界付近の扱い |
落とし穴#
原点が最適解の関数が多い。 初期集団を中心に置く手法が 不当に有利になる。COCO/BBOB のようなベンチマーク基盤では 最適解をランダムに平行移動させて対処する。
分離可能な関数が多い。 各変数を独立に最適化できてしまうと、 変数間の相関を学習する能力が評価されない。 回転させた版を併用するのが標準的な対処。
関数の選び方に恣意性が入る。 提案手法が得意な関数だけを並べれば どんな手法でも勝てる。論文を読むときは関数群の出典 (CEC の競技会セット、BBOB など標準的なものか)を確認する。
実問題との乖離#
ベンチマークで強くても実問題で強いとは限らない。 実問題は評価が高価で、制約があり、ノイズを含み、 次元と構造がベンチマークと違う。 ベンチマークは必要条件のふるい分けとして使うのが妥当な位置づけ。
参考文献#
- Nikolaus Hansen et al. COCO: A Platform for Comparing Continuous Optimizers in a Black-Box Setting. Optimization Methods and Software 36(1), 2021. https://doi.org/10.1080/10556788.2020.1808977
- Nikolaus Hansen et al. Real-Parameter Black-Box Optimization Benchmarking 2009: Noiseless Functions Definitions. INRIA Technical Report, 2009. https://inria.hal.science/inria-00362633