平均值是对样本的一个描述量（statstic），是可算的。
期望值是对随机变量在某个度量中的描述量，是理想化的，被估计的。
大数定理（有很多版本，条件不同，收敛不同）：
如果是随机独立一致样本（i.i.d)，当样本足够大的时候，平均值向期望值收敛。
讨论：
如果对样本i.i.d.有把握，平均值可以作为随机变量期望值的估计。
期望值是first moment，这种估计法也叫methods of moments。在对随机变量分部不清楚的时候methods of moments很好用，但没有MLE（maximum likelihood estimator）收敛得快。
正态分布的first two moments正好和MLE一样。
当样本相关性不小的时候，平均值估计出的期望值会有很高的偏差（bias），往往需要修正。
期望估计往往是第一步，对样本背后变量的真实分部的估计要更复杂。期望值的收敛是一个数的收敛，分部的收敛是函数收敛。正确的函数估计有很多用处，比如做假设检定（hypothesis testing）。又比如在保险行业，应对的都是小概率事件。他们对分部在尾部的收敛要求非常高。
ps：统计中文不好，请多包含。
来源：知乎 www.zhihu.com
作者：周则禹
【知乎日报】千万用户的选择，做朋友圈里的新鲜事分享大牛。
点击下载
此问题还有 23 个回答，查看全部。
延伸阅读：
什么叫做“共轭”？有没有统一的概念？
数学里的 e 为什么叫做自然底数？是不是自然界里什么东西恰好是 e？
