ベイズの定理

$$P(A|B)=\frac{P(B|A)P(A)}{P(B)}$$

条件を逆向きにする公式。 条件付き確率の定義から 2 行で導ける。

推論の形として#

$$\underset{\text{事後}}{\underbrace{p(\theta |D)}}=\frac{\stackrel{\text{尤度}}{\overbrace{p(D|\theta )}}\stackrel{\text{事前}}{\overbrace{p(\theta )}}}{p(D)}$$

データを見る前の信念（事前分布）を、データで更新して事後分布を得る。 これがベイズ推論の骨格で、 ベイズ最適化の名前もここから来る。

基準率の錯誤#

有病率 0.1% の病気、感度 99%、特異度 99% の検査で陽性が出たとする。 実際に病気である確率は？

$$P(\text{病気}|+)=\frac{0.99\times 0.001}{0.99\times 0.001+0.01\times 0.999}\approx 0.09$$

約 9%。 直感は 99% と言いたくなるが、 事前確率（有病率）が低いと、偽陽性の絶対数が真陽性を圧倒する。

$P(+|\text{病気})$ と $P(\text{病気}|+)$ を 取り違えることが、この誤りの正体。

参考文献#

• Charles M. Grinstead, J. Laurie Snell. Introduction to Probability, 2nd ed. AMS, 1997.（全文公開） https://open.umn.edu/opentextbooks/textbooks/21
• Christopher M. Bishop. Pattern Recognition and Machine Learning. Springer, 2006.（全文公開） https://www.microsoft.com/en-us/research/publication/pattern-recognition-machine-learning/
• Larry Wasserman. All of Statistics: A Concise Course in Statistical Inference. Springer, 2004. https://doi.org/10.1007/978-0-387-21736-9