点推定

パラメータを 1 つの値で見積もる。

$$\hat{\theta }=g(x_1,\dots ,x_n)$$

標本平均で母平均を推定する、といった形。

誤差の分解#

推定量の誤差は 2 つに分けられる。

$$𝔼[(\hat{\theta }-\theta {)}^2]=\underset{{\text{バイアス}}^2}{\underbrace{(𝔼[\hat{\theta }]-\theta {)}^2}}+\underset{\text{バリアンス}}{\underbrace{\mathrm{Var}(\hat{\theta })}}$$

バイアス・バリアンス分解。機械学習で モデルを複雑にするとバイアスが減りバリアンスが増える、 という話はこの式のこと。

点推定の限界#

1 つの数字だけではどれだけ信用できるかが分からない。

「最適化手法 A の平均性能は 12.3」だけでは、 それが 12.3 ± 0.1 なのか 12.3 ± 8.0 なのか判断できない。 必ず区間推定や標準誤差を添える。

参考文献#

• Larry Wasserman. All of Statistics: A Concise Course in Statistical Inference. Springer, 2004. https://doi.org/10.1007/978-0-387-21736-9