条件付き確率 — 知識ノート

P (A | B) = \frac{P (A \cap B)}{P (B)} (P (B) > 0)

$B$ が起きたと分かったうえでの $A$ の確率。

標本空間を狭める操作#

$B$ が起きたと分かった時点で、可能性は $B$ の中に限られる。その中で $A$ が占める割合を測り直しているだけ。分母の $P (B)$ は、狭めた空間で全体を 1 に戻す正規化。

P (A \cap B) = P (A | B) P (B)

これを繰り返すと連鎖的に分解できる。

P (A_{1}, \dots, A_{n}) = P (A_{1}) P (A_{2} | A_{1}) \dots P (A_{n} | A_{1}, \dots, A_{n - 1})

言語モデルが次の単語を予測する形はまさにこれで、文章の確率を逐次的な条件付き確率の積として書いている。

$P (A | B)$ と $P (B | A)$ はまったく別物。

検査の例で言えば、「病気の人が陽性になる確率」（感度）と「陽性の人が病気である確率」は違う。両者を繋ぐのがベイズの定理で、有病率が低いと後者は驚くほど小さくなる。

Charles M. Grinstead, J. Laurie Snell. Introduction to Probability, 2nd ed. AMS, 1997.（全文公開） https://open.umn.edu/opentextbooks/textbooks/21
MIT OCW 6.041 Probabilistic Systems Analysis and Applied Probability https://ocw.mit.edu/courses/6-041-probabilistic-systems-analysis-and-applied-probability-fall-2010/