一様分布

$$p(x)=\frac{1}{b-a}(a\le x\le b)$$

区間内のどこも等確率。

無情報の表現#

「区間内であること以外、何も分からない」を表す分布。 最大エントロピーの原理でも、有界な台のもとでは一様分布が選ばれる。

乱数の土台#

計算機の疑似乱数は、まず $[\mathrm{0,1})$ の一様乱数を作る。 他の分布はそこから変換して得る。

手法	内容
逆関数法	$F^{-1}(U)$
Box-Muller	一様 2 つから正規 2 つ
棄却法	提案分布から引いて条件で捨てる

疑似乱数生成器の品質は、 モンテカルロ法や 確率的最適化の結果に直接影響する。

使ってはいけない場面#

SPSA の摂動ベクトルには 一様分布を使えない。

$$𝔼\left[\left|\frac{1}{{\mathrm{\Delta }}_{ki}}\right|\right]=\infty$$

0 付近の値を取りうるため、逆モーメントが発散する。 勾配推定の分母に ${\mathrm{\Delta }}_{ki}$ が来るので、 推定値が無限大になる可能性がある。 対称ベルヌーイ（$\pm 1$）なら $|1/\mathrm{\Delta }|=1$ で問題ない。

参考文献#

• Charles M. Grinstead, J. Laurie Snell. Introduction to Probability, 2nd ed. AMS, 1997.（全文公開） https://open.umn.edu/opentextbooks/textbooks/21
• James C. Spall. Implementation of the Simultaneous Perturbation Algorithm for Stochastic Optimization. IEEE TAES 34(3), 1998. https://doi.org/10.1109/7.705889