1.期望数学定义及性质证明
在n次独立重复的试验中观察随机变量\(\xi\)的取值，则取\(x_i\)的值大致 应该出现在\(np_i\)次，根据n次试验结果计算该随机变量的平均值大致如下： \[ \frac{1}{n}[np_1x_1+np_2x_2+...+np_kx_k] = \sum_{i=1}^{k}p_ix_i \] 定义：实数\(E\xi = \sum_{i=1}^{k}x_iP(A_i)\),称作随机变量\(\xi=\sum_{i=1}^{k}x_iI(A_i)\) 的数学期望或平均值。 数学期望的基本性质
- 若\(\xi \ge 0\),则\(E\xi \ge 0\).
- \(E(a\xi+b\eta) = aE\xi + bE\eta\),其中a,b为常数.
- 若\(\xi \ge \eta\),则\(E\xi \ge E\eta\).
- \(|E\xi| \le E|\xi|\).
- 若\(\xi\)和\(\eta\)独立,则\(E\xi\eta=E\xi \cdot E\eta\).
- \((E|\xi|)^2 \le E{\xi}^2 \cdot E{\eta}^2\),柯西-瓦尔茨不等式.
- 若\(\xi = I(A)\),则\(E\xi = P(A)\).
证明： 性质1显然成立 性质7，根据示性函数，由于 \[ \xi = I_A(\omega)= \begin{cases} 1, \omega \in A, \\ 0, \omega \in A. \end{cases} \] 由于伯努利试验只有0，1，所以根据随机变量期望的定义，性质7成立。
性质2的证明： 设 \(\xi=\sum x_iI(A_i), \eta=\sum y_jI(B_j)\),
\[\begin{equation} \begin{aligned} a\xi+b\eta &= a\sum_{i,j}x_i I(A_i \cap B_j) + b\sum_{i,j} y_j I(A_i \cap B_j) \\ &=\sum_{i,j}(a x_i+b y_j)I(A_i \cap B_j) \\ \end{aligned} \end{equation}\]
\[\begin{equation} \begin{aligned} E(a\xi+b\eta) &= \sum_{i,j}(a x_i+b y_i)P(A_i \cap B_j) \\ &=\sum_{i}a x_iP(A_i) + \sum_{j}b y_jP(B_j) \\ &=a\sum_{i}x_iP(A_i) + b\sum_{j}y_jP(B_j) \\ &=a\sum(\xi) + b\sum(\eta) \\ \end{aligned} \end{equation}\]
性质3 的证明： 由性质1，2可以证明3。
性质4的证明： \[ |E\xi| = |\sum_{i}x_iP(A_i)| \le \sum_{i}|x_i|P(B_j)=E|\xi| \]
性质5的证明： \[\begin{equation} \begin{aligned} E\xi\eta &= E(\sum_{i}x_i I(A_i))(\sum_{j}y_j I(B_j)) \\ &=E\sum_{i,j}x_iy_jI(A_i \cap B_j) \\ &=\sum_{i,j}x_i y_jP(A_i \cap B_j) \\ &=\sum x_j y_jP(A_i)P(B_j) \\ &=(\sum_{i}x_i P(A_i))(\sum_{j}y_i P(B_j)) \\ &=E\xi \cdot E\eta \\ \end{aligned} \end{equation}\] 证明过程中，对于独立的随机变量\(\xi\) ,\(\eta\)， 事件 \(A_i = {\omega:\xi(\omega)=x_i}\) 和 \(B_j={\omega:\eta(\omega)=y_j}\) 事件独立：\(P(A_i \cap B_j) = P(A_i)P(B_j)\)
性质6 的证明： 已知 \[ \xi^2 = \sum_{i=1}^{l}x_i^2 I(A_i), \eta^2 = \sum y_i^2 I(b_j)\] \[ E\xi^2 = \sum_{i=1}^l x_i^2 P(A_i), E\eta^2 = \sum_{j=1}^k y_i^2P(B_j) \]
设 \(E\xi^2 > 0\) ;\(E\eta^2 > 0\), 记 \(\widetilde{\xi} = \frac{\xi}{\sqrt{E\xi^2}}\) ,\(\widetilde{\eta} = \frac{\eta}{\sqrt{E\eta^2}}\)
由于 \(2|\widetilde{\xi} \widetilde{\eta}| \le {\widetilde{\xi}}^2 + {\widetilde{\eta}}^2\) 可得 \(2E|\widetilde{\xi} \widetilde{\eta}| \le E{\widetilde{\xi}}^2 + E {\widetilde{\eta}}^2 = 1+1=2\) 所以 \(E|\widetilde{\xi} \widetilde{\eta}| \le 1\) \[\begin{equation} \begin{aligned} (E|\xi\eta|)^2 = (E|\widetilde{\xi}\sqrt{E\xi^2} \widetilde{\eta}\sqrt{E\eta^2}|)^2 \\ &=(E|\sqrt{E\xi^2E\eta^2}\widetilde{\xi}\widetilde{\eta}|)^2 \\ &=E\xi^2 E\eta^2(E|\widetilde{\xi}\widetilde{\eta}|)^2 \\ \end{aligned} \end{equation}\] 由于 \(E|\widetilde{\xi} \widetilde{\eta}| \le 1\) 所以 \((E|\widetilde{\xi} \widetilde{\eta}|)^2 \le 1\) 因此 \((E|\xi\eta|)^2 = E\xi^2 E\eta^2(E|\widetilde{\xi}\widetilde{\eta}|)^2 \le E\xi^2 \times E\eta^2\) 所以性质6 得证。
因为设 \(E\xi > 0\),所以还有一种特殊情况要证明。 假设 \(E\xi^2 = 0\) , \(\sum_{i}x_i^2P(A_i) = 0\) 因此0是\(\xi\)的可能的值，且 \(P{\omega : \xi(\omega) = 0} = 1\) 因为\(E\xi^2\) 或者 \(E\eta^2=0\) ,显然 \(E|\xi\eta| = 0\) ,性质6依然成立。
2.方差的定义及性质证明
方差是来描述数据分散程度的指标
\[D\xi = E(\xi - E\xi)^2\] \(D\xi\)记为方差，\(\sigma = \sqrt{D\xi}\)记为标准差。
性质1 由于 \[ E(\xi-E\xi)^2 = E[\xi^2 - 2\xi E\xi + (E\xi)^2] = E(\xi^2) - (E\xi)^2 \] 所以 \[D\xi = E\xi^2 - (E\xi)^2\]
根据方差的定义，可知\(D\xi\ge0\)
性质2 对于任意常数的a,b \(D(a+b\xi) = b^2D\xi\) 当\(Da=0\),\(D(b\xi) = b^2D\xi\)
性质3 对于二个随机变量\(\xi\),\(\eta\)
\[D(\xi+\eta) = E[(\xi-E\xi)+(\eta - E\eta)]^2 = D\xi + D\eta +2E(\xi-E\xi)(\eta-E\eta)\]
记： \[ cov(\xi,\eta) = E(\xi-E\xi)(\eta-E\eta) \] 称作随机变量\(\xi\)和\(\eta\)的协方差，如果\(D\xi \ge 0\), \(D\eta \ge 0\), 则 \(\rho(\xi,\eta) = \frac{cov(\xi,\eta)}{\sqrt{D\xi \times D\eta}}\) 称作随机变量\(\xi\)和\(\eta\)的相关系数。