Ch5 大数定律与中心极限定理

• 大数定律
  • 事件发生的频率作为该事件的概率的估计
  • 以样本均值作为总体期望的估计
• 中心极限定理
  • 正态分布在概率统计中的重要性
  • 大样本统计推断的理论基础

Ch5.1 预备知识

Chebyshev 不等式

设随机变量 $X$ 的方差 $D(X)$ 存在，则 $\forall\epsilon>0$，

$$ P(|X-E(X)|\ge\epsilon)\le\frac{D(X)}{\epsilon^2} $$

或者

$$ P(|X-E(X)|<\epsilon)\ge1-\frac{D(X)}{\epsilon^2} $$

• 证明：

  • 以连续型随机变量为例，设 $X$ 的概率密度为 $f(x)$，

    $$ P(|X-E(X)|\geq\epsilon)=\int_{|X-E(X)|\geq\epsilon}f(x)\ \mathrm{d}x $$

  • 当 $|X-E(X)|\geq\epsilon$ 时，

    $$ \frac{|X-E(X)|}\epsilon\geq1\quad\Rightarrow\quad\left(\frac{X-E(X)}\epsilon\right)^2\geq1 $$

  • 从而

    $$ \begin{aligned}P(|X-E(X)|\geq\epsilon)&=\int_{|x-E(X)|\geq\epsilon}1\cdot f(x)\ \mathrm dx\\&\leq\int_{|x-E(X)|\geq\epsilon}\left(\frac{x-E(X)}{\epsilon}\right)^2f(x)\ \mathrm dx\\&\leq\int_{-\infty}^{+\infty}\left(\frac{x-E(X)}{\epsilon}\right)^2f(x)\ \mathrm dx\\&\leq\frac{1}{\epsilon^2}\int_{-\infty}^{+\infty}\left(x-E(X)\right)^2f(x)\ \mathrm dx=\frac{D(X)}{\epsilon^2}\end{aligned} $$

• Chebyshev 不等式是其研究统计规律中提出的一个不等式.

• Chebyshev 不等式是概率极限理论中非常基础、也非常重要的不等式，是证明大数定律的重要工具和重要理论基础.

• 利用 Chebyshev 不等式可以在随机变量 $X$ 的分布未知的情况下，对随机事件 $(|X-E(X)|\geq\epsilon)$ 的概率作出估计.

Note: 切比雪夫不等式给出了在随机变量的分布未知，只知道期望方差的情况下估计 $P\left(|X-E(X)|<\epsilon\right)$ 的界限。如取 $\epsilon=3\sqrt{D(X)}$，$P\left(|X-E(X)|<3\sqrt{D(X)}\right)\geq1-\frac{D(X)}{9D(X)}\approx0.8889$，估计比较粗糙.

Note: 一般地，$P\left(|X-E(X)|<k\sqrt{D(X)}\right)\geq1-\frac{1}{k^2},\ (k>0)$ 方差 $D(X)$ 越大，对相同的 $k$，由 $\left\{|X-E(X)|<k\sqrt{D(X)}\right\}$ 确定的 $X$ 的取值范围就越大，即 $X$ 的分布偏离其均值的程度越大，这也说明了方差是反映随机变量偏离其均值程度的度量.

依概率收敛

DEF: 设 $Y_1,Y_2,\cdots,Y_n,\cdots$ 是一系列随机变量，$a$ 是一常数，若 $\forall \epsilon >0$ 有

$$ \lim_{n\to\infty}{P\left(|Y_n-a|\ge\epsilon\right)=0}\quad \text{or}\quad \lim_{n\to\infty}{P\left(|Y_n-a|<\epsilon\right)=1} $$

则称随机变量序列 $Y_1,Y_2,\cdots,Y_n,\cdots$ 依概率收敛于常数 $a$，记作