統計的有意差

$p<\alpha$（多くは 0.05）となったときに「有意差あり」と言う。

$\alpha =0.05$ に根拠は無い#

Fisher が便宜的に示した目安が慣習化したもので、 理論的な必然性は無い。分野によって $0.01$、$5\sigma$（物理）など様々。

閾値の両側で結論が二分されることが問題視されており、 $p=0.049$ と $p=0.051$ を質的に違うものとして扱うのは 統計的に正当化できない。

「有意」という語の誤解#

日常語の「重要」ではなく、 **「偶然では説明しにくい」**という意味しかない。

言えること	言えないこと
偶然では説明しにくい	効果が大きい
$H_0$ と整合しにくい	$H_0$ が偽である確率
	実用上意味がある

p ハッキング#

有意になるまで、条件・指標・除外基準を変えて試すこと。 意図的でなくても起こりうる（研究者の自由度）。

対策は、分析計画を事前に決める（事前登録）、 効果量と信頼区間を報告する、 多重比較を補正する、など。

最適化手法の比較でも、 ベンチマーク関数を後から選び直せば同じ問題が起きる。

参考文献#

• Ronald L. Wasserstein, Nicole A. Lazar. The ASA Statement on p-Values: Context, Process, and Purpose. The American Statistician 70(2), 2016. https://doi.org/10.1080/00031305.2016.1154108
• Valentin Amrhein, Sander Greenland, Blake McShane. Scientists rise up against statistical significance. Nature 567, 2019. https://doi.org/10.1038/d41586-019-00857-9
• Larry Wasserman. All of Statistics: A Concise Course in Statistical Inference. Springer, 2004. https://doi.org/10.1007/978-0-387-21736-9