確率密度関数

連続確率変数の分布を表す関数。PDF。

$$p(x)\ge 0,{\int }_{-\infty }^{\infty }p(x)dx=1$$

密度であって確率ではない#

$p(x)$ 自体は確率ではなく、単位長さあたりの確率。 物理の質量密度と同じ考え方で、 長さを掛けて初めて質量（＝確率）になる。

$$P(x\le X\le x+dx)\approx p(x)dx$$

このため $p(x)>1$ は普通に起こる。 たとえば $[0,0.1]$ 上の一様分布は $p(x)=10$。

尤度との関係#

パラメータ $\theta$ を持つ密度 $p(x|\theta )$ を、 データ $x$ を固定して $\theta$ の関数と見ると尤度になる。

$$L(\theta )=p(x|\theta )$$

同じ式でも、どちらを変数と見るかで名前と役割が変わる。 最尤推定はこの $L$ を最大化する $\theta$ を選ぶ。

実装上の注意#

尤度は多数の密度の積になるため、すぐ桁が潰れる。 そこで対数を取るのが定石。

$$\log L=\sum _i\log p(x_i|\theta )$$

積が和になり、浮動小数点の アンダーフローを避けられる。 交差エントロピー損失が対数で書かれるのもこの流れ。

参考文献#

• Larry Wasserman. All of Statistics: A Concise Course in Statistical Inference. Springer, 2004. https://doi.org/10.1007/978-0-387-21736-9
• Christopher M. Bishop. Pattern Recognition and Machine Learning. Springer, 2006.（全文公開） https://www.microsoft.com/en-us/research/publication/pattern-recognition-machine-learning/