探索分布

次にどこを調べるかを確率分布として表すという考え方。

決定的に「次はここ」と決める代わりに、分布 $p_{\theta }(x)$ から引く。 分布のパラメータ $\theta$ を更新することが、探索の学習そのものになる。

分布で持つ利点#

• 不確かさを表現できる — 広い分布は「まだ分からない」、狭い分布は「ここだと確信」
• 更新が滑らか — 1 回の悪い評価で探索方針が壊れない
• 勾配が定義できる — 分布のパラメータについては微分できる

最後の点が重要で、$f$ 自体は微分できなくても ${𝔼}_{p_{\theta }}[f(x)]$ は $\theta$ について微分できる。 これを使って $\theta$ を勾配法で更新するのが自然勾配法系の考え方 （Natural Evolution Strategies）。 CMA-ES の更新式も、 この枠組みから近似的に導けることが知られている。

分布の選び方#

分布	手法	表現できること
多変量正規分布	CMA-ES	中心・広がり・相関
対角のみの正規分布	sep-CMA-ES	中心・軸ごとの広がり
集団そのもの（暗黙）	DE、ABC	標本の散らばり
ガウス過程の事後分布	ベイズ最適化	関数そのものの不確かさ

表現力を上げると学習に必要な標本数が増える。 正規分布の共分散は $𝒪(n^2)$ 個のパラメータを持つので、 高次元では対角に落とす判断が要る。

参考文献#

• Daan Wierstra et al. Natural Evolution Strategies. JMLR 15, 2014. https://jmlr.org/papers/v15/wierstra14a.html
• Yann Ollivier et al. Information-Geometric Optimization Algorithms: A Unifying Picture via Invariance Principles. JMLR 18, 2017. https://arxiv.org/abs/1106.3708