信頼区間

95% 信頼区間の正しい読み方は、 「同じ手続きを繰り返せば、そのうち 95% の区間が真の値を含む」。

よくある誤解#

「真の値がこの区間に入る確率が 95%」は誤り（頻度論の枠組みでは）。 真の値は定数であり、確率変数ではない。ランダムなのは区間の方。

真の値に確率を置きたいならベイズの信用区間 (credible interval) を使う。 こちらなら「95% の確率で入る」と言ってよい。

検定との関係#

95% 信頼区間が 0 を含まない ⟺ 両側検定で $p<0.05$。 同じ情報を別の形で表している。

ただし信頼区間の方が情報量が多い。 有意かどうかだけでなく、 効果の大きさと精度が同時に読める。

報告の作法#

最適化の実験では、

• 平均 ± 標準偏差（データのばらつき）
• 平均 ± 標準誤差（推定の精度）
• 信頼区間

のどれを書いているか必ず明示する。 $\sigma$ と $\sigma /\sqrt{n}$ では $\sqrt{n}$ 倍違う。

参考文献#

• Larry Wasserman. All of Statistics: A Concise Course in Statistical Inference. Springer, 2004. https://doi.org/10.1007/978-0-387-21736-9
• Ronald L. Wasserstein, Nicole A. Lazar. The ASA Statement on p-Values: Context, Process, and Purpose. The American Statistician 70(2), 2016. https://doi.org/10.1080/00031305.2016.1154108