Question

2.1 期望

1. 期望描述了随机变量的平均情况，衡量了随机变量 $ MathJax-Element-499 $ 的均值。它是概率分布的泛函（函数的函数）。

   • 离散型随机变量 $ MathJax-Element-499 $ 的期望： $ MathJax-Element-101 $ 。

     若右侧级数不收敛，则期望不存在。

   • 连续性随机变量 $ MathJax-Element-499 $ 的期望： $ MathJax-Element-103 $ 。

     若右侧极限不收敛，则期望不存在。

2. 定理：对于随机变量 $ MathJax-Element-499 $ ，设 $ MathJax-Element-517 $ 也为随机变量， $ MathJax-Element-521 $ 是连续函数。

   • 若 $ MathJax-Element-499 $ 为离散型随机变量，若 $ MathJax-Element-498 $ 的期望存在，则： $ MathJax-Element-109 $ 。

     也记做： $ MathJax-Element-110 $ 。

   • 若 $ MathJax-Element-499 $ 为连续型随机变量，若 $ MathJax-Element-498 $ 的期望存在，则 ： $ MathJax-Element-113 $ 。

     也记做： $ MathJax-Element-114 $ 。

   该定理的意义在于：当求 $ MathJax-Element-115 $ 时，不必计算出 $ MathJax-Element-498 $ 的分布，只需要利用 $ MathJax-Element-499 $ 的分布即可。

   该定理可以推广至两个或两个以上随机变量的情况。对于随机变量 $ MathJax-Element-516 $ ，假设 $ MathJax-Element-119 $ 也是随机变量， $ MathJax-Element-521 $ 为连续函数，则有： $ MathJax-Element-121 $ 。也记做： $ MathJax-Element-122 $ 。

3. 期望性质：

   • 常数的期望就是常数本身。

   • 对常数 $ MathJax-Element-144 $ 有 ： $ MathJax-Element-124 $ 。

   • 对两个随机变量 $ MathJax-Element-516 $ ，有： $ MathJax-Element-126 $ 。

     该结论可以推广到任意有限个随机变量之和的情况。

   • 对两个相互独立的随机变量，有： $ MathJax-Element-127 $ 。

     该结论可以推广到任意有限个相互独立的随机变量之积的情况。

2.2 方差

1. 对随机变量 $ MathJax-Element-499 $ ，若 $ MathJax-Element-129 $ 存在，则称它为 $ MathJax-Element-499 $ 的方差，记作 $ MathJax-Element-131 $ 。

   $ MathJax-Element-499 $ 的标准差为方差的开平方。即：

   $ Var[X]=\mathbb E[(X-\mathbb E[X])^{2}] \\ \sigma=\sqrt{Var[X]} $

   • 方差度量了随机变量 $ MathJax-Element-499 $ 与期望值偏离的程度，衡量了 $ MathJax-Element-499 $ 取值分散程度的一个尺度。

   • 由于绝对值 $ MathJax-Element-135 $ 带有绝对值，不方便运算，因此采用平方来计算。

     又因为 $ MathJax-Element-136 $ 是一个随机变量，因此对它取期望，即得 $ MathJax-Element-499 $ 与期望值偏离的均值。

2. 根据定义可知：

   $ Var[X]=\mathbb E[(X-\mathbb E[X])^{2}]=\mathbb E[X^{2}]-(\mathbb E[X])^{2}\\ Var [f(X)]=\mathbb E[(f(X)-\mathbb E[f(X)])^{2}] $

3. 对于一个期望为 $ MathJax-Element-431 $ ， 方差为 $ MathJax-Element-139 $ 的随机变量 $ MathJax-Element-499 $ ，随机变量 $ MathJax-Element-141 $ 的数学期望为0，方差为1。 称 $ MathJax-Element-142 $ 为 $ MathJax-Element-499 $ 的标准化变量。

4. 方差的性质：

   • 常数的方差恒为 0 。

   • 对常数 $ MathJax-Element-144 $ ，有 $ MathJax-Element-145 $ 。

   • 对两个随机变量 $ MathJax-Element-516 $ ，有： $ MathJax-Element-147 $

     当 $ MathJax-Element-499 $ 和 $ MathJax-Element-498 $ 相互独立时，有 $ MathJax-Element-150 $ 。这可以推广至任意有限多个相互独立的随机变量之和的情况。

   • $ MathJax-Element-151 $ 的充要条件是 $ MathJax-Element-499 $ 以概率1取常数。

2.3 协方差与相关系数

1. 对于二维随机变量 $ MathJax-Element-350 $ ，可以讨论描述 $ MathJax-Element-499 $ 与 $ MathJax-Element-498 $ 之间相互关系的数字特征。

   • 定义 $ MathJax-Element-156 $ 为随机变量 $ MathJax-Element-499 $ 与 $ MathJax-Element-498 $ 的协方差，记作 $ MathJax-Element-159 $ 。
   • 定义 $ MathJax-Element-160 $ 为随机变量 $ MathJax-Element-499 $ 与 $ MathJax-Element-498 $ 的相关系数，它是协方差的归一化。

2. 由定义可知：

   $ Cov[ X,Y] =Cov[ Y,X] \\ Cov [X,X] =Var [X] \\ Var [X+Y] =Var [X] +Var [Y] +2Cov [X,Y] $

3. 协方差的性质：

   • $ MathJax-Element-163 $ ， $ MathJax-Element-183 $ 为常数。
   • $ MathJax-Element-165 $
   • $ MathJax-Element-166 $
   • $ MathJax-Element-167 $

4. 协方差的物理意义：

   • 协方差的绝对值越大，说明两个随机变量都远离它们的均值。

   • 协方差如果为正，则说明两个随机变量同时趋向于取较大的值或者同时趋向于取较小的值；如果为负，则说明一个随变量趋向于取较大的值，另一个随机变量趋向于取较小的值。

   • 两个随机变量的独立性可以导出协方差为零。但是两个随机变量的协方差为零无法导出独立性。

     因为独立性也包括：没有非线性关系。有可能两个随机变量是非独立的，但是协方差为零。如：假设随机变量 $ MathJax-Element-168 $ 。定义随机变量 $ MathJax-Element-169 $ 的概率分布函数为：

     $ P(S=1)= \frac 12P(S=-1)= \frac 12 $

     定义随机变量 $ MathJax-Element-170 $ ，则随机变量 $ MathJax-Element-516 $ 是非独立的，但是有： $ MathJax-Element-172 $ 。

5. 相关系数的物理意义：考虑以随机变量 $ MathJax-Element-499 $ 的线性函数 $ MathJax-Element-176 $ 来近似表示 $ MathJax-Element-498 $ 。以均方误差

   $ e=\mathbb E[(Y-(a+bX))^{2}]=\mathbb E[Y^{2}] +b^{2}\mathbb E[X^{2}] +a^{2}-2b\mathbb E[XY] +2ab\mathbb E[X] -2a\mathbb E [Y] $

   来衡量以 $ MathJax-Element-176 $ 近似表达 $ MathJax-Element-498 $ 的好坏程度。 $ MathJax-Element-186 $ 越小表示近似程度越高。

   为求得最好的近似，则对 $ MathJax-Element-183 $ 分别取偏导数，得到：

   $ a_0=\mathbb E[Y] -b_0\mathbb E[X] =\mathbb E[Y] -\mathbb E[X] \frac{Cov [X,Y]}{Var [X] }\\ b_0=\frac{Cov[ X,Y] }{Var[ X] }\\ \min(e)=\mathbb E[(Y-(a_0+b_0X))^{2}]=(1-\rho^{2}_{XY})Var [Y] $

   因此有以下定理：

   • $ MathJax-Element-180 $ （ $ MathJax-Element-181 $ 是绝对值）。
   • $ MathJax-Element-182 $ 的充要条件是：存在常数 $ MathJax-Element-183 $ 使得 $ MathJax-Element-184 $ 。

6. 当 $ MathJax-Element-185 $ 较大时， $ MathJax-Element-186 $ 较小，意味着随机变量 $ MathJax-Element-499 $ 和 $ MathJax-Element-498 $ 联系较紧密。于是 $ MathJax-Element-189 $ 是一个表征 $ MathJax-Element-499 $ 、 $ MathJax-Element-498 $ 之间线性关系紧密程度的量。

7. 当 $ MathJax-Element-192 $ 时，称 $ MathJax-Element-499 $ 和 $ MathJax-Element-498 $ 不相关。

   • 不相关是就线性关系来讲的，而相互独立是一般关系而言的。
   • 相互独立一定不相关；不相关则未必独立。

2.4 协方差矩阵

1. 设 $ MathJax-Element-499 $ 和 $ MathJax-Element-498 $ 是随机变量。

   • 若 $ MathJax-Element-197 $ 存在，则称它为 $ MathJax-Element-499 $ 的 $ MathJax-Element-460 $ 阶原点矩，简称 $ MathJax-Element-460 $ 阶矩。
   • 若 $ MathJax-Element-201 $ 存在，则称它为 $ MathJax-Element-499 $ 的 $ MathJax-Element-460 $ 阶中心矩。
   • 若 $ MathJax-Element-204 $ 存在，则称它为 $ MathJax-Element-499 $ 和 $ MathJax-Element-498 $ 的 $ MathJax-Element-207 $ 阶混合矩。
   • 若 $ MathJax-Element-208 $ 存在，则称它为 $ MathJax-Element-499 $ 和 $ MathJax-Element-498 $ 的 $ MathJax-Element-211 $ 阶混合中心矩。

   因此：期望是一阶原点矩，方差是二阶中心矩，协方差是二阶混合中心矩。

2. 协方差矩阵：

   • 二维随机变量 $ MathJax-Element-213 $ 有四个二阶中心矩（假设他们都存在），记作：

     $ c_{11}=\mathbb E[(X_1-\mathbb E[X_1])^{2}] \\ c_{12}=\mathbb E[(X_1-\mathbb E[X_1])( X_2-\mathbb E[X_2]) ] \\ c_{21}=\mathbb E[( X_2-\mathbb E[X_2])(X_1-\mathbb E[X_1] ) ] \\ c_{22}=\mathbb E[(X_2-\mathbb E[X_2])^{2}] $

     称矩阵

     $ \mathbf C=\begin{bmatrix} c_{11}&c_{12}\\ c_{21}&c_{22} \end{bmatrix} $

     为随机变量 $ MathJax-Element-213 $ 的协方差矩阵。
     

   • 设 $ MathJax-Element-387 $ 维随机变量 $ MathJax-Element-386 $ 的二阶混合中心矩 $ MathJax-Element-216 $ 都存在，则称矩阵

     $ \mathbf C= \begin{bmatrix} c_{11} & c_{12} & \cdots & c_{1n} \\ c_{21} & c_{22} & \cdots & c_{2n} \\ \vdots &\vdots &\ddots &\vdots \\ c_{n1} & c_{n2} & \cdots & c_{nn} \\ \end{bmatrix} $

     为 $ MathJax-Element-387 $ 维随机变量 $ MathJax-Element-386 $ 的协方差矩阵。

     由于 $ MathJax-Element-219 $ 因此协方差矩阵是个对称阵。

3. 通常 $ MathJax-Element-387 $ 维随机变量的分布是不知道的，或者太复杂以致数学上不容易处理。因此实际中协方差矩阵非常重要。