估计、偏差和方差

本文首发自公众号：RAIS

前言

本系列文章为《Deep Learning》读书笔记，可以参看原书一起阅读，效果更佳。

估计

统计的目的是为了推断，大量的统计是为了更好的推断，这就是一种估计，一种根据现有信息对可能性的一种猜测。

点估计：点估计指的是用样本数据估计总体的参数，估计的结果是一个点的数值，因此叫做点估计。这个定义非常宽泛， $\hat{\theta}_m=g(x_1, x_2, ..., x_m)$ ，其中几乎对 g 没有什么限制，只是说比较好的 g 会接近真实的 θ。
函数估计：是一种映射关系，如 $y=f(x)+ϵ$ ，其中 ϵ 是从 x 中预测不出来的，我们不关心，我们关心的是函数估计 f，函数估计是一种从输入到输出的映射关系。

偏差

估计的偏差定义为： $bias(\hat{\theta}_m)=E(\hat{\theta_m})-\theta$ ，这很好理解，估计与实际值之间的距离就是偏差，如果偏差为 0，则 $\hat{\theta}$ 是 $\theta$ 的无偏估计，如果在 m 趋近于无穷大时，偏差趋近于 0，则 $\hat{\theta}$ 是 $\theta$ 的渐进无偏。