伯努利大数定理(Law of Large Numbers)
伯努利分布也称两点分布,相关的描述和证明见伯努利分布
伯努利概型
\(\Omega\),\(\mathscr{A}\),\(P\) ,其中 \(\Omega=\{\omega:\omega=(a_1,...a_n),a_i=0,1\}\)
\(\mathscr{A}=\{A:A \subset \Omega\}\) , \(P(\{\omega\})=p^{\sum a_i}(1-p)^{n-\sum a_i}=p(\omega)\)
上面定义的三对象，称作伯努利概型。白话就是“有两种结局的n次独立试验的概率模型”
对于二项分布而言，\(ES_n = np\) \(E\frac{S_n}{n} = p\),即成功的频率\(S_n/n\)的平均值等于成功的概率。那么成功的频率对成功的概率的偏差如何呢？ 这里需要借助切比雪夫不等式。
切比雪夫不等式
设(\(\Omega\),\(\mathscr{A}\),\(P\))是某一概率空间，\(\xi=\xi(\omega)\) 是非负随机变量，那么对于任意的\(\varepsilon>0\),
\[ P\{\xi\geq\varepsilon\} \leq \frac{E\xi}{\varepsilon} \]
切比雪夫不等式证明： 根据示性函数的性质，
\[\begin{equation} \begin{aligned} \xi &=\xi I(\xi \geq \varepsilon) + \xi I(\xi < \varepsilon) \\ &\geq \xi I(\xi \geq \varepsilon) \\ &\geq \varepsilon I(\xi \geq \varepsilon) \\ \end{aligned} \end{equation}\]
所以 \(\xi \geq \varepsilon I(\xi \geq \varepsilon)\) 根据期望的性质 \[\begin{equation} \begin{aligned} E\xi &\geq E\varepsilon I(\xi \geq \varepsilon) \\ &\geq \varepsilon E I(\xi \geq \varepsilon) = \varepsilon P\{\xi \geq \varepsilon\} \end{aligned} \end{equation}\] 不等式得证。
切比雪夫不等式的另一种表达方式
设随机变量\(X\)的数学期望和方差都存在，对于任意的常数\(\varepsilon\)有： \[ P(|X-E(X)| \geq \varepsilon) \leq \frac{Var(X)}{\varepsilon^2} \] 或者 \[ P(|X-E(X)| \leq \varepsilon) \geq 1- \frac{Var(X)}{\varepsilon^2} \] 证明如下： 设\(X\)是一个连续的随机变量，其密度函数为\(p(x)\),记\(E(X)=a\)
\[\begin{align*} P(|X-a|\geq\varepsilon) &= \int\limits_{\{x:|x-a|\geq\varepsilon\}} \quad p(x)dx \\ &\leq \int \limits_{\{x:|x-a|\geq\varepsilon\}} \quad \frac{(x-a)^2}{\varepsilon^2}p(x)dx \\ &\leq \frac{1}{\varepsilon^2}\int_{-\infty}^{+\infty}(x-a)^2p(x)dx = \frac{Var(x)}{\varepsilon^2} \end{align*}\]
此证明的第一个不等式，是由于 \(|X-E(X)| \geq \varepsilon\)得出，第二个不等式是积分区间的扩大导致的。 该切比雪夫不等式的证明，将\(\xi = X-E(X)\),则就是第一个切比雪夫不等式的证明推导。
证明伯努利概型大数定理
\[ \lim_{n \to \infty}P(|\frac{S_n}{n}-p|\le \varepsilon) = 1 \]
证明:
\[\begin{align*} 1 &\geq P(|\frac{S_n}{n}-p| \leq \varepsilon) \\ &\geq 1 - \frac{Var(\frac{S_n}{n})}{\varepsilon^2} = 1- \frac{p(1-p)}{n^2\varepsilon^2} \end{align*}\]
当\(n\)趋近与\(\infty\)时，上式趋近与1,事件发生的频率趋近与概率。