p値

帰無仮説が正しいと仮定したとき、観測された結果以上に極端な結果が得られる確率。

$$p=P(\text{データ以上に極端}|H_0)$$

よくある誤解#

誤解	正しくは
帰無仮説が正しい確率	$P(H_0|D)$ ではなく $P(D|H_0)$
対立仮説が正しい確率	何も言っていない
効果の大きさ	大きさは効果量で測る
$p>0.05$ なら差が無い	検出できなかっただけ

$P(D|H_0)$ と $P(H_0|D)$ の混同は、 ベイズの定理で見た 条件の向きの取り違えと同じ誤り。

試行数を増やせば有意になる#

$p$ 値は標本数に依存する。実用上どうでもいい小さな差でも、 $n$ を増やせば $p<0.05$ になる。

「統計的に有意」と「実用的に意味がある」は別物。 だから $p$ 値と一緒に効果量と 信頼区間を報告することが推奨される。

ASA 声明#

米国統計学会は 2016 年に $p$ 値に関する声明を出し、 科学的な結論を $p<0.05$ だけで下すべきでないこと、 $p$ 値は効果の大きさも結果の重要性も測らないことを明記した。

参考文献#

• Ronald L. Wasserstein, Nicole A. Lazar. The ASA Statement on p-Values: Context, Process, and Purpose. The American Statistician 70(2), 2016. https://doi.org/10.1080/00031305.2016.1154108
• Larry Wasserman. All of Statistics: A Concise Course in Statistical Inference. Springer, 2004. https://doi.org/10.1007/978-0-387-21736-9