推定

標本から母集団のパラメータを見積もること。

良い推定量の条件#

性質	意味
不偏性	$𝔼[\hat{\theta }]=\theta$。平均的に正しい
一致性	$n\to \infty$ で $\hat{\theta }\to \theta$
有効性	分散が小さい

不偏性と分散の小ささは両立しないことがある。 わずかに偏っても分散が大幅に小さい推定量の方が 実用的に優れる場合がある（バイアス・バリアンス分解）。

主な方法#

最尤推定 (MLE) — 観測データが最も起こりやすくなる $\theta$ を選ぶ。

$$\hat{\theta }=\arg \underset{\theta }{\max }\log p(D|\theta )$$

対数を取るのは積を和にして桁落ちを避けるため。 これは最適化問題であり、機械学習の学習の多くがこの形。

ベイズ推定 — 事後分布 $p(\theta |D)$ を求める。 点推定ではなく分布として答えるので、不確かさも一緒に得られる。

標本分散の $n-1$#

$$s^2=\frac{1}{n-1}\sum _i{(x_i-\bar{x})}^2$$

$n$ で割ると分散を過小評価する。 $\bar{x}$ 自体がデータから推定されており、 自由度が 1 つ減っているため。

参考文献#

• Larry Wasserman. All of Statistics: A Concise Course in Statistical Inference. Springer, 2004. https://doi.org/10.1007/978-0-387-21736-9
• Christopher M. Bishop. Pattern Recognition and Machine Learning. Springer, 2006. https://www.microsoft.com/en-us/research/publication/pattern-recognition-machine-learning/