第四章 大数定律和中心极限定理

§1 大数定律

第一章介绍了频率的稳定性,即当随机试验次数n充分大时,随机事件A发生的频率总是在一个常数p(0≤p≤1)附近摆动;另外,在进行测量时,为了提高测量精度,往往进行多次测量,用测量的实测值的平均值近似代替真值。这正是大数定律的实际背景。

一、契比晓夫(Chebyshev)不等式

设随机变量X的数学期望为EX),方差为var(X),则对于任意给定的正数ε,有

P{|X-EX)|≥ε}≤var(X)/ε2  (1.1)

或  P{|X-EX)|<ε}≥1-var(X)/ε2  (1.2)

上面两个不等式称为契比晓夫不等式

仅就连续型随机变量的情形予以证明。

   证   

契比晓夫不等式给出了随机变量X的取值落在以其均值EX)为中心,以ε为半径的区间之外的概率的一个上界估计,通常称此估计为双侧尾概率估计。契比晓夫不等式的长处是它并不依赖于随机变量X的具体概率分布,有宽泛的适用面,但是估计的精度不高。

【例1】 设EX)=μ,var(X)=σ2,由契比晓夫不等式可得

如果XNμσ2),那么

可见,知道了随机变量X的具体分布后,双侧尾概率估计将会精确得多。

二、经典大数定律

在精密工件测量的实践中,往往需要反复进行多次测量。如果每次测量没有系统偏差,仅有随机误差,为了抵消每次测量所带有的随机误差,最终测量结果取作各次测量值的平均值。经验表明,只要测量的次数足够多,总可以达到要求的精度。这个过程的数学描述:假定工件的真值为a(永远不可知),第k次测量的结果为随机变量Xk,若各次测量相互独立,每次测量不存在系统偏差(即期望值为真值),则{Xk}是一个独立同分布,均值为a的随机变量序列。当n充分大时,n次测量的平均值

应该和真值a“足够接近”。这一结果的数学结论就是大数定律。

定义1.1 设{Xn}是独立同分布的随机变量序列,如果对任意的ε>0,恒有

   (1.3)   

其中,μ=EXn(不依赖于n),则称随机变量序列{Xn}服从大数定律。

经典大数定律有几种不同的形式。

1.契比晓夫大数定律

定理1.1 设随机变量X1X2,…,Xn,…相互独立,且具有相同的数学期望和方差,EXk)=μ,var(Xk)=σ2k=1,2,…,n,…)。则对任意给定的正数ε,都有

 令

则   

又因X1X2,…,Xn,…独立,且var(Xk)=σ2。故

由契比晓夫不等式可得

即   

又   

因而   

定理1.2(契比晓夫大数定律) 设随机变量X1X2,…,Xn,…相互独立,每个变量分别存在数学期望EX1),EX2),…,EXn),…及方差var(X1),var(X2),…,var(Xn),…,并且这些方差是有界的,即存在某个正常数M,使得

var(Xi)<M (i=1,2,…,n,…)

则对于任一正数ε,有

或   

证明从略。

定理1.1是契比晓夫大数定律的特例。

契比晓夫大数定律表明,在所给条件下,当n充分大时,n个随机变量的算术平均值偏离其数学期望可能性很小。如果测定一物体的某一指标值a时,独立地重复测量得一系列实测值:X1X2,…,Xn,求得实测值的平均值,根据契比晓夫大数定律知,当n足够大时,平均值与真值a之差的绝对值小于任意指定正数ε的概率可以充分地接近于1。所以实用上往往用某物体的某一指标的一系列实测值的算术平均值作为该指标的近似值。

2.贝努利大数定律

定理1.3(贝努利大数定律) 设在n次重复独立试验中事件A发生Yn次,每次试验事件A发生的概率为p,则对任意的正数ε,总有成立。

 令k=1,2,…)

显然Yn=X1+X2+…+Xn,因为Xk只依赖于第k次试验,而各次试验是独立的,所以X1X2,…,Xn相互独立,又因为Xk服从参数为p的(0—1)分布,故有EXk)=p,var(Xk)=p(1-p)(k=1,2,…)。由定理1.1有

这个定理以严格的数学形式表达了频率的稳定性。这就是说当n很大时,事件发生的频率与概率有较大偏差的可能性很小。在实际应用中,当试验次数很大时,便可以用事件发生的频率来代替事件的概率。

定理1.4(辛钦大数定律) 设随机变量X1X2,…,Xn,…相互独立,服从同一分布,且具有数学期望EXk)=μk=1,2,…),则对于任意正数ε,有

 略。

显然,贝努利大数定律是辛钦大数定律的特殊情况。

【例2】 设随机变量X服从参数为2的泊松分布,用契比晓夫不等式估计P{|X-2|<3}。

 因X服从参数为2的泊松分布,故

EX)=2,var(X)=2

由契比晓夫不等式知

三、依概率收敛

定义1.2 设X1X2,…,Xn,…是一个随机变量序列,a是一个常数,若对于任意正数ε,有

   (1.4)   

则称随机变量序列X1X2,…,Xn,…依概率收敛于a,记为

性质:设,又设函数gxy)在点(ab)连续,则

特别地,若gXnYn)=cXn+dYncd为常数,则

gXnYn)=XnYn,则

Yn≠0,则b≠0)

由依概率收敛定义,定理1.1可表述如下。

设随机变量X1X2,…,Xn,…相互独立,且具有相同的数学期望μ与方差σ2,则序列

贝努利大数定律表明事件A发生的频率依概率收敛于事件A的概率。