Question

3.1 切比雪夫不等式

1. 切比雪夫不等式：假设随机变量 $ MathJax-Element-499 $ 具有期望 $ MathJax-Element-222 $ ， 方差 $ MathJax-Element-223 $ ，则对于任意正数 $ MathJax-Element-226 $ ，下面的不等式成立：

   $ P\{|X-\mu| \ge \varepsilon\} \le \frac {\sigma^{2}}{\varepsilon^{2}} $

   • 其意义是：对于距离 $ MathJax-Element-225 $ 足够远的地方 （距离大于等于 $ MathJax-Element-226 $ ），事件出现的概率是小于等于 $ MathJax-Element-227 $ 。即事件出现在区间 $ MathJax-Element-228 $ 的概率大于 $ MathJax-Element-229 $ 。

     该不等式给出了随机变量 $ MathJax-Element-499 $ 在分布未知的情况下， 事件 $ MathJax-Element-231 $ 的下限估计。如： $ MathJax-Element-232 $ 。

   • 证明：

     $ P\{|X-\mu| \ge \varepsilon\}=\int_{|x-\mu| \ge \varepsilon}p(x)dx \le \int_{|x-\mu| \ge \varepsilon} \frac{|x-\mu|^{2}}{\varepsilon^{2}}p(x)dx \\ \le \frac {1}{\varepsilon^{2}}\int_{-\infty}^{\infty}(x-\mu)^{2}p(x)dx=\frac{\sigma^{2}}{\varepsilon^{2}} $

2. 切比雪夫不等式的特殊情况：设随机变量 $ MathJax-Element-298 $ 相互独立，且具有相同的数学期望和方差： $ MathJax-Element-254 $ 。 作前 $ MathJax-Element-387 $ 个随机变量的算术平均： $ MathJax-Element-255 $ ， 则对于任意正数 $ MathJax-Element-268 $ 有：

   $ \lim_{n\rightarrow \infty}P\{|\overline X-\mu| \lt \varepsilon\}=\lim_{n\rightarrow \infty}P\{|\frac{1}{n}\sum_{k=1}^{n}X_k-\mu| \lt \varepsilon\} =1 $

   证明：根据期望和方差的性质有： $ MathJax-Element-238 $ ， $ MathJax-Element-239 $ 。根据切比雪夫不等式有：

   $ P\{|\overline X-\mu| \ge \varepsilon\} \le \frac{\sigma^2}{n\varepsilon^2} $

   则有 $ MathJax-Element-240 $ ，因此有： $ MathJax-Element-241 $ 。

3.2 大数定理

1. 依概率收敛：设 $ MathJax-Element-246 $ 是一个随机变量序列， $ MathJax-Element-252 $ 是一个常数。

   若对于任意正数 $ MathJax-Element-268 $ 有 ： $ MathJax-Element-245 $ ，则称序列 $ MathJax-Element-246 $ 依概率收敛于 $ MathJax-Element-252 $ 。记作： $ MathJax-Element-248 $

2. 依概率收敛的两个含义：

   • 收敛：表明这是一个随机变量序列，而不是某个随机变量；且序列是无限长，而不是有限长。
   • 依概率：表明序列无穷远处的随机变量 $ MathJax-Element-249 $ 的分布规律为：绝大部分分布于点 $ MathJax-Element-252 $ ，极少数位于 $ MathJax-Element-252 $ 之外。且分布于 $ MathJax-Element-252 $ 之外的事件发生的概率之和为0。

3. 大数定理一： 设随机变量 $ MathJax-Element-298 $ 相互独立，且具有相同的数学期望和方差： $ MathJax-Element-254 $ 。 则序列： $ MathJax-Element-255 $ 依概率收敛于 $ MathJax-Element-431 $ ， 即 $ MathJax-Element-257 $ 。

   注意：这里并没有要求随机变量 $ MathJax-Element-298 $ 同分布。

4. 伯努利大数定理： 设 $ MathJax-Element-259 $ 为 $ MathJax-Element-387 $ 次独立重复实验中事件 $ MathJax-Element-265 $ 发生的次数， $ MathJax-Element-462 $ 是事件 $ MathJax-Element-265 $ 在每次试验中发生的概率。则对于任意正数 $ MathJax-Element-268 $ 有：

   $ \lim_{n \rightarrow \infty}P\{|\frac{n_{A}}{n}-p| \lt \varepsilon\}=1 \\ or: \quad \lim_{n \rightarrow \infty}P\{|\frac{n_{A}}{n}-p| \ge \varepsilon\}=0 $

   即：当独立重复实验执行非常大的次数时，事件 $ MathJax-Element-265 $ 发生的频率逼近于它的概率。

5. 辛钦定理：设随机变量 $ MathJax-Element-298 $ 相互独立，服从同一分布，且具有相同的数学期望： $ MathJax-Element-267 $ 。 则对于任意正数 $ MathJax-Element-268 $ 有：

   $ \lim_{n\rightarrow \infty}P\{|\frac{1}{n}\sum_{k=1}^{n}X_k-\mu| \lt \varepsilon\} =1 $
   • 注意：这里并没有要求随机变量 $ MathJax-Element-298 $ 的方差存在。
   • 伯努利大数定理是亲钦定理的特殊情况。

3.3 中心极限定理

1. 独立同分布的中心极限定理：设随机变量 $ MathJax-Element-423 $ 独立同分布，且具有数学期望和方差： $ MathJax-Element-271 $ ， 则随机变量之和 $ MathJax-Element-295 $ 的标准变化量：

   $ Y_n=\frac{\overline {SX_n}-\mathbb E[\overline {SX_n}] }{\sqrt{Var[\overline {SX_n}] }}=\frac{\overline {SX_n}-n\mu}{\sqrt n \sigma} $

   的概率分布函数 $ MathJax-Element-292 $ 对于任意 $ MathJax-Element-320 $ 满足：

   $ \lim_{n\rightarrow \infty}F_n(x)=\lim_{n\rightarrow \infty}P\{Y_n \le x\}=\lim_{n\rightarrow \infty}P\{\frac{\sum_{k=1}^{n} X_k-n\mu}{\sqrt n \sigma} \le x\}\\ = \int_{-\infty}^{x} \frac{1}{\sqrt{2\pi}}e^{-t^{2}/2}dt=\Phi(x) $

   • 其物理意义为：均值方差为 $ MathJax-Element-275 $ 的独立同分布的随机变量 $ MathJax-Element-423 $ 之和 $ MathJax-Element-295 $ 的标准变化量 $ MathJax-Element-278 $ ，当 $ MathJax-Element-387 $ 充分大时，其分布近似于标准正态分布。

     即： $ MathJax-Element-295 $ 在 $ MathJax-Element-387 $ 充分大时，其分布近似于 $ MathJax-Element-282 $ 。

   • 一般情况下，很难求出 $ MathJax-Element-387 $ 个随机变量之和的分布函数。因此当 $ MathJax-Element-387 $ 充分大时，可以通过正态分布来做理论上的分析或者计算。

2. Liapunov 定理：设随机变量 $ MathJax-Element-298 $ 相互独立，具有数学期望和方差： $ MathJax-Element-286 $ 。记： $ MathJax-Element-287 $ 。 若存在正数 $ MathJax-Element-288 $ ，使得当 $ MathJax-Element-289 $ 时， $ MathJax-Element-290 $ 。则随机变量之和 $ MathJax-Element-295 $ 的标准变化量:

   $ Z_n=\frac{\overline {SX_n}-\mathbb E[\overline {SX_n}] }{\sqrt{Var [\overline {SX_n}] }}=\frac{\overline {SX_n}-\sum_{k=1}^{n}\mu_k}{B_n} $

   的概率分布函数 $ MathJax-Element-292 $ 对于任意 $ MathJax-Element-320 $ 满足：

   $ \lim_{n\rightarrow \infty}F_n(x)=\lim_{n\rightarrow \infty}P\{Z_n \le x\}=\lim_{n\rightarrow \infty}P\{\frac{\sum_{k=1}^{n} X_k-\sum_{k=1}^{n}\mu_k}{B_n} \le x\}\\ = \int_{-\infty}^{x} \frac{1}{\sqrt{2\pi}}e^{-t^{2}/ 2}dt=\Phi(x) $
   • 其物理意义为：相互独立的随机变量 $ MathJax-Element-298 $ 之和 $ MathJax-Element-295 $ 的衍生随机变量序列 $ MathJax-Element-296 $ ，当 $ MathJax-Element-387 $ 充分大时，其分布近似与标准正态分布。
   • 这里并不要求 $ MathJax-Element-298 $ 同分布。

9. Demoiver-Laplace定理：设随机变量序列 $ MathJax-Element-299 $ 服从参数为 $ MathJax-Element-300 $ 的二项分布，其中 $ MathJax-Element-301 $ 。则对于任意 $ MathJax-Element-320 $ , 有：

   $ \lim_{n\rightarrow \infty}P\{\frac{\eta_n-np}{\sqrt{np(1-p)}} \le x\}=\int_{-\infty}^{x} \frac{1}{\sqrt{2\pi}}e^{-t^{2}\mid 2}dt=\Phi(x) $

   该定理表明，正态分布是二项分布的极限分布。当 $ MathJax-Element-387 $ 充分大时，可以利用正态分布来计算二项分布的概率。