独立

$$P(A\cap B)=P(A)P(B)$$

同値な言い方として $P(A|B)=P(A)$。 $B$ を知っても $A$ の確率が変わらない。

排反と混同しない#

	独立	排反
定義	$P(A\cap B)=P(A)P(B)$	$P(A\cap B)=0$
意味	情報を持たない	同時には起きない

排反な 2 事象は（確率が正なら）独立ではない。 片方が起きたら他方は起きないと分かるので、強く情報を持っている。

何に効くか#

独立を仮定すると同時分布が積に分解でき、計算が劇的に楽になる。

$$p(x_1,\dots ,x_n)=\prod _{i}p(x_i)$$

• 大数の法則・中心極限定理は独立性を前提とする
• ナイーブベイズは特徴量の条件付き独立を（現実には成り立たなくても）仮定する
• SPSA の摂動ベクトルは各成分を独立に引く

条件付き独立#

$$P(A\cap B|C)=P(A|C)P(B|C)$$

$C$ を知ったうえでは独立、という関係。 グラフィカルモデルやベイジアンネットワークは この構造を図で表したもの。

無条件の独立と条件付き独立はどちらも他方を含意しない。

参考文献#

• Larry Wasserman. All of Statistics: A Concise Course in Statistical Inference. Springer, 2004. https://doi.org/10.1007/978-0-387-21736-9
• Christopher M. Bishop. Pattern Recognition and Machine Learning. Springer, 2006.（全文公開） https://www.microsoft.com/en-us/research/publication/pattern-recognition-machine-learning/