効果量 — 知識ノート

差の大きさを表す指標。 $p$ 値が「差があるか」しか言わないのを補う。

Cohen's d#

2 群の平均差を、共通の標準偏差で割る。

d = \frac{{\overline{x}}_{1} - {\overline{x}}_{2}}{s_{pooled}}

（この目安は分野依存で、絶対的な基準ではない。）

$p$ 値は $n$ を増やせば小さくなるが、効果量は変わらない。これが効果量を併記すべき理由。

$n = 10000$ で $p < 0.001$ 、しかし $d = 0.02$ なら、統計的には確実だが実用的には無視できる差。

分布が正規でない最適化の実験では、 Cliff's delta や $A_{12}$ 統計量（Vargha-Delaney）が使われる。

$A_{12}$ は「手法 A の結果が B より良い確率」で、 0.5 が差なし、0.5 から離れるほど差が大きい。直感的に読めるうえ分布の仮定が要らない。

Jacob Cohen. Statistical Power Analysis for the Behavioral Sciences, 2nd ed. Routledge, 1988. https://doi.org/10.4324/9780203771587
András Vargha, Harold D. Delaney. A Critique and Improvement of the CL Common Language Effect Size Statistics of McGraw and Wong. Journal of Educational and Behavioral Statistics 25(2), 2000. https://doi.org/10.3102/10769986025002101
Ronald L. Wasserstein, Nicole A. Lazar. The ASA Statement on p-Values: Context, Process, and Purpose. The American Statistician 70(2), 2016. https://doi.org/10.1080/00031305.2016.1154108