关于参数估计,近年来用Bayes方法取得了一些进展.特别是文献^[1]中提出了多层先验分布的想法、 文献^[2]中提出了多层先验分布的构造方法以来,多层Bayes方法在参数估计方面取得了一些进展,见文献^[3].但用多层Bayes方法得到的结果一般都要涉及复杂积分的计算,有时甚至是一些高维的复杂积分,虽然有MCMC(Markov Chain Monte Carlo)等计算 方法(见文献^[4]),但在有些问题的应用上还是不太方便,这在一定程度上制约了多层Bayes方法的应用. 在本文中我们将会看到,参数的E-Bayes估计与多层Bayes估计相比,在表达式上简单,在应用上更方便一些.

很多实际问题都可以用Poisson分布来描述并解决相应的问题. 例如,一本书的某一页中印刷符号错误的个数;某地区一天内邮递遗失的信件数; 在某个时间间隔内,某种放射物质发出的某种粒子数;在一段时间内,某操作系统发生故障的次数. 总之,可以用Poisson分布来描述在一定条件下稀有事件发生的次数等,对Poisson分布的研究具有重要的理论和实际应用价值.

在文献^[5]中,对Poisson分布的参数,讨论了极大似然估计、矩估计以及Bayes估计之间的关系,并对优劣性进行了分析.在文献^[6]和^[7]中,对Poisson分布的参数,分别在复合LINEX对称损失和Q-对称熵损失下给出了参数的Bayes估计.

本文将在第二节中,给出参数的E-Bayes估计的定义,并在此基础上给出Poisson分布参数的E-Bayes估计;在第三节中,给出Poisson分布参数的多层Bayes估计;在第四节中,给出Poisson分布参数E-Bayes估计的性质;在第五节中,给出应用实例.

以下首先给出参数的E-Bayes估计的定义,然后在此基础上给出Poisson分布参数的E-Bayes估计.

设随机变量X服从参数为$\lambda$的Poisson分布,则其分布律为

$P\{X={{x}_{i}}\}=\frac{{{e}^{-\lambda }}{{\lambda }^{{{x}_{i}}}}}{{{x}_{i}}!},\ \lambda >0,{{x}_{i}}=0,1,2,\cdots .$

(1)

设$x_{1},x_{2},\cdots,x_{n}$为来自参数为$\lambda$的Poisson分布的样本观察值,则样本的似然函数为

$L({{x}_{1}},{{x}_{2}},\cdots ,{{x}_{n}}|\lambda )=\prod\limits_{i=1}^{n}{\frac{{{e}^{-\lambda }}{{\lambda }^{{{x}_{i}}}}}{{{x}_{i}}!}}=\frac{{{e}^{-n\lambda }}{{\lambda }^{T}}}{\prod\limits_{i=1}^{n}{{{x}_{i}}}!},\ T=\sum\limits_{i=1}^{n}{{{x}_{i}}}.$

(2)

如果取$\lambda$的先验分布为其共轭分布--- Gamma分布,其密度函数为

$\pi(\lambda|a,b)=\frac{b^{a}\lambda^{a-1}\exp(-b\lambda)}{\Gamma(a)},\ \lambda>0,$

(3)

其中$\Gamma (a)=\int_{0}^{\infty }{{{t}^{a-1}}{{e}^{-t}}dt}$是Gamma函数,a和b为超参数(hyperparameters),且 a>0,b>0.

根据Poisson分布的特点(它是描述在一定条件下稀有事件发生的次数),以及参数$\lambda$的意义(它是Poisson分布的数学期望),参数$\lambda$大的可能性小,而小的可能性大.根据文献^[2],超参数a和b 的选取应使$\pi(\lambda| a,b)$为$\lambda$ 的减函数. $ \pi(\lambda|a,b)$对$\lambda$的导数为

$\frac{\text{d}[\pi (\lambda |a,b)]}{\text{d}\lambda }=\frac{{{b}^{a}}{{\lambda }^{a-2}}\exp (-b\lambda )}{\Gamma (a)}[(a-1)-b\lambda].$

注意到a>0,b>0,$\lambda$>0,当0<a<1,b>0 时,$\frac{\mbox{d}[\pi(\lambda|a,b)]}{\mbox{d}\lambda}<0,$因此$\pi(\lambda|a,b) $为$\lambda $的减函数.

对0<a<1,b 越大,Gamma分布的密度函数的尾部越细.根据Bayes估计的稳健性(文献^[8]),尾部越细的先验分布常会造成Bayes估计的稳健性越差,因此b不宜过大,应该有一个界限. 设b的上界为c,其中c>0为常数.这样可以确定超参数a和b的范围为0<a<1,0<b<c (常数c的具体确定,见后面的应用实例).

定义 1 对$(a,b)\in D,$若$\widehat{\lambda}_{B}(a,b)$是连续的,称

${{\hat{\lambda }}_{EB}}=\iint_{D}{{{{\hat{\lambda }}}_{B}}}(a,b)\pi (a,b)\text{d}a\text{d}b$

是参数$\lambda$的 E-Bayes估 计(expected Bayesian estimation).其中$\iint_{D} \widehat{\lambda}_{B}(a,b)\pi(a,b)\mbox{d}a\mbox{d}b$是存在的,D为超参数a和b取值的集合,$ \pi$(a,b)是a和b在集合D上的密度函数,$\widehat{\lambda}_{B}(a,b)$为$\lambda$的Bayes估计(用超参数a和b表示).

从定义1可以看出,参数$\lambda$的E-Bayes估计

${{\hat{\lambda }}_{EB}}=\iint_{D}{{{{\hat{\lambda }}}_{B}}}(a,b)\pi (a,b)\text{d}a\text{d}b=E\left[{{{\hat{\lambda }}}_{B}}(a,b) \right]$

是参数$\lambda$的Bayes估计$\widehat{\lambda}_{B}(a,b)$对超参数a和b的数学期望(expectation),即$\lambda$的E-Bayes估计是$\lambda$的Bayes估计对超参数的数学期望.通过对a和b求数学期望(即求积分),达到消除超参数的目的(这正是E-Bayes估计的意义------ expected Bayesian estimation).

定理 1 设$x_{1},x_{2},\cdots,x_{n}$为来自参数为$\lambda$的Poisson分布(1)的样本观察值,若$\lambda$的先验分布为Gamma分布,其密度函数由(3)给出,超参数a和b的先验分布分别为(0,1)和(0,c)上的均匀分布,在a和b独立时，则在平方损失下$\lambda$的E-Bayes估计为

${{\hat{\lambda }}_{EB}}=\frac{1}{2c}(2T+1)\ln \left( \frac{n+c}{n} \right),\ T=\sum\limits_{i=1}^{n}{{{x}_{i}}}.$

证设$x_{1},x_{2},\cdots,x_{n}$为来自参数为$\lambda$的Poisson分布(1)的样本观察值,样本的似然函数由(2)式给出,若$\lambda$的先验分布为Gamma分布,其密度函数由(3)给出,根据文献^[9],在平方损失下$\lambda$的Bayes估计为$\widehat{\lambda}_{B}(a,b)=\frac{a+T}{ b+n}$,其中$T=\sum\limits_{i=1}^n x_{i}$.

若超参数 a和b的先验分布分别为(0,1)和(0,c)上的均匀分布,在a和b独立时，则 a和b的先验密度函数为$\pi(a,b)=\pi(a)\pi(b)=\frac{1}{c},\ 0<a<1,\ 0<b<c$.

根据定义1,则$\lambda$的E-Bayes估计为

${{\hat{\lambda }}_{EB}}=\iint_{D}{{{{\hat{\lambda }}}_{B}}}(a,b)\pi (a,b)\text{d}a\text{d}b=\frac{1}{c}\int_{0}^{c}{\int_{0}^{1}{\frac{a+T}{b+n}}}\text{d}a\text{d}b=\frac{1}{2c}(2T+1)\ln \left( \frac{n+c}{n} \right).$

证毕.

若$\lambda$的先验分布为Gamma分布,其密度函数由(3)式给出,超参数a和b的先验分布分别为(0,1)和(0,c)上的均匀分布,在a和b独立时，则$\lambda$的多层先验密度函数为

$\pi (\lambda )=\int_{0}^{c}{\int_{0}^{1}{\pi (\lambda |a,b)}}\pi (a,b)\text{d}a\text{d}b=\frac{1}{c}\int_{0}^{c}{\int_{0}^{1}{\frac{{{b}^{a}}{{\lambda }^{a-1}}\exp (-b\lambda )}{\Gamma (a)}}}\text{d}a\text{d}b,\ 0<\lambda <\infty .$

(4)

定理 2 设$x_{1},x_{2},\cdots,x_{n}$为来自参数为$\lambda$的Poisson分布(1)的样本观察值,若$\lambda$的多层先验密度函数由(4)式给出,则在平方损失下$\lambda$的多层Bayes估计为

${{{\hat{\lambda }}}_{HB}}=\frac{\int_{0}^{c}{\int_{0}^{1}{\frac{{{b}^{a}}\Gamma (T+a+1)}{{{(b+n)}^{T+a+1}}\Gamma (a)}}}\text{d}a\text{d}b}{\int_{0}^{c}{\int_{0}^{1}{\frac{{{b}^{a}}\Gamma (T+a)}{{{(b+n)}^{T+a}}\Gamma (a)}}}\text{d}a\text{d}b},\ T=\sum\limits_{i=1}^{n}{{{x}_{i}}}.$

证 设$x_{1},x_{2},\cdots,x_{n}$为来自参数为$\lambda$的Poisson分布(1)式的样本观察值,则样本的似然函数为$L(x_{1},x_{2},\cdots,x_{n}|\lambda)$由(2)式给出.若$\lambda$的多层先验密度函数由(4)式给出,根据Bayes定理,则$\lambda$的多层后验密度函数为

$\begin{align} & h(\lambda |{{x}_{1}},{{x}_{2}},\cdots ,{{x}_{n}})=\frac{\pi (\lambda )L({{x}_{1}},{{x}_{2}},\cdots ,{{x}_{n}}|\lambda )}{\int{{{0}^{\infty }}}\pi (\lambda )L({{x}_{1}},{{x}_{2}},\cdots ,{{x}_{n}}|\lambda )\text{d}\lambda } \\ & =\frac{\int{{{0}^{c}}}\int{{{0}^{1}}}\frac{{{b}^{a}}}{\Gamma (a)}{{\lambda }^{T+a-1}}\exp [-(b+n)\lambda]\text{d}a\text{d}b}{\int{{{0}^{c}}}\int{{{0}^{1}}}\frac{{{b}^{a}}\Gamma (T+a)}{{{(b+n)}^{T+a}}\Gamma (a)}\text{d}a\text{d}b},\ 0<\lambda <\infty . \\ \end{align}$

则在平方损失下,$\lambda$的多层Bayes估计为

$\begin{align} & {{{\hat{\lambda }}}_{HB}}=\int{{{0}^{\infty }}}\lambda h(\lambda |{{x}_{1}},{{x}_{2}},\cdots ,{{x}_{n}})\text{d}\lambda \\ & =\frac{\int{{{0}^{c}}}\int{{{0}^{1}}}\frac{{{b}^{a}}}{\Gamma (a)}\left\{ \int{{{0}^{\infty }}}{{\lambda }^{(T+a+1)-1}}\exp [-(b+n)\lambda]d\lambda \right\}\text{d}a\text{d}b}{\int{{{0}^{c}}}\int{{{0}^{1}}}\frac{{{b}^{a}}\Gamma (T+a)}{{{(b+n)}^{T+a}}\Gamma (a)}\text{d}a\text{d}b} \\ & =\frac{\int{{{0}^{c}}}\int{{{0}^{1}}}\frac{{{b}^{a}}\Gamma (T+a+1)}{{{(b+n)}^{T+a+1}}\Gamma (a)}\text{d}a\text{d}b}{\int{{{0}^{c}}}\int{{{0}^{1}}}\frac{{{b}^{a}}\Gamma (T+a)}{{{(b+n)}^{T+a}}\Gamma (a)}\text{d}a\text{d}b}. \\ \end{align}$

证毕.

在定理1和定理2中分别给出了$\widehat{\lambda}_{EB}$和$\widehat{\lambda}_{HB}$,那么 它们之间有什么关系呢？ 以下将给出的定理3将回答这个问题.

定理 3 在定理1和定理2中,$\widehat{\lambda}_{EB}和\widehat{\lambda}_{HB}$满足

$\underset{n\to \infty }{\mathop{\lim }}\,{{{\hat{\lambda }}}_{EB}}=\underset{n\to \infty }{\mathop{\lim }}\,{{{\hat{\lambda }}}_{HB}}.$

证 根据Gamma函数的性质,有

$\Gamma (T+a+1)=(T+a)\Gamma (T+a),$

于是

$\int_{0}^{c}{\int_{0}^{1}{\frac{{{b}^{a}}\Gamma (T+a+1)}{{{(b+n)}^{T+a+1}}\Gamma (a)}}}\text{d}a\text{d}b=\int_{0}^{c}{\int_{0}^{1}{\frac{T+a}{b+n}}}\cdot \frac{{{b}^{a}}\Gamma (T+a)}{{{(b+n)}^{T+a}}\Gamma (a)}\text{d}a\text{d}b.$

(5)

对于$a\in (0,1)$和$b\in (0,c),\frac{T+a}{b+n}$是连续的, $\frac{b^{a}\Gamma(T+a)}{(b+n)^{T+a}\Gamma(a)}>0$,根据积分中值定理,在(0,1)上至少存在一个数$a_{1},$在(0,c)上至少存在一个数$b_{1}$,使

$\int_{0}^{c}{\int_{0}^{1}{\frac{T+a}{b+n}}}\frac{{{b}^{a}}\Gamma (T+a)}{{{(b+n)}^{T+a}}\Gamma (a)}\text{d}a\text{d}b=\frac{T+{{a}_{1}}}{{{b}_{1}}+n}\int_{0}^{c}{\int_{0}^{1}{\frac{{{b}^{a}}\Gamma (T+a)}{{{(b+n)}^{T+a}}\Gamma (a)}}}\text{d}a\text{d}b.$

(6)

根据(5)和(6)式,有

$\int_{0}^{c}{\int_{0}^{1}{\frac{{{b}^{a}}\Gamma (T+a+1)}{{{(b+n)}^{T+a+1}}\Gamma (a)}}}\text{d}a\text{d}b=\frac{T+{{a}_{1}}}{{{b}_{1}}+n}\int_{0}^{c}{\int_{0}^{1}{\frac{{{b}^{a}}\Gamma (T+a)}{{{(b+n)}^{T+a}}\Gamma (a)}}}\text{d}a\text{d}b.$

(7)

根据定理2和(7)式,有

${{{\hat{\lambda }}}_{HB}}=\frac{\int_{0}^{c}{\int_{0}^{1}{\frac{{{b}^{a}}\Gamma (T+a+1)}{{{(b+n)}^{T+a+1}}\Gamma (a)}}}\text{d}a\text{d}b}{\int_{0}^{c}{\int_{0}^{1}{\frac{{{b}^{a}}\Gamma (T+a)}{{{(b+n)}^{T+a}}\Gamma (a)}}}\text{d}a\text{d}b}=\frac{\frac{T+{{a}_{1}}}{{{b}_{1}}+n}\int_{0}^{c}{\int_{0}^{1}{\frac{{{b}^{a}}\Gamma (T+a)}{{{(b+n)}^{T+a}}\Gamma (a)}}}\text{d}a\text{d}b}{\int_{0}^{c}{\int_{0}^{1}{\frac{{{b}^{a}}\Gamma (T+a)}{{{(b+n)}^{T+a}}\Gamma (a)}}}\text{d}a\text{d}b}=\frac{T+{{a}_{1}}}{{{b}_{1}}+n}.$

(8)

在(8)式两边取极限,则有

$\underset{n\to \infty }{\mathop{\lim }}\,{{{\hat{\lambda }}}_{HB}}=\underset{n\to \infty }{\mathop{\lim }}\,\frac{T+{{a}_{1}}}{{{b}_{1}}+n}=0.$

(9)

根据定理1的证明过程,$\lambda$的E-Bayes估计为

${{{\hat{\lambda }}}_{EB}}=\frac{1}{c}\int_{0}^{c}{\int_{0}^{1}{\frac{a+T}{b+n}}}\text{d}a\text{d}b.$

(10)

对于$a\in (0,1)$和$b\in (0,c),\frac{T+a}{b+n}$是连续的,根据积分中值定理,在(0,1)上至少存在一个数$a_{2}$,在(0,c)上至少存在一个数$b_{2}$,使

$\frac{1}{c}\int_{0}^{c}{\int_{0}^{1}{\frac{a+T}{b+n}}}\text{d}a\text{d}b=\frac{{{a}_{2}}+T}{{{b}_{2}}+n}\cdot \frac{1}{c}\int_{0}^{c}{\int_{0}^{1}{\text{d}a\text{d}b}}=\frac{{{a}_{2}}+T}{{{b}_{2}}+n}.$

(11)

根据定理1,(10)和 (11)式,则有

$\underset{n\to \infty }{\mathop{\lim }}\,{{{\hat{\lambda }}}_{EB}}=\underset{n\to \infty }{\mathop{\lim }}\,\frac{{{a}_{2}}+T}{{{b}_{2}}+n}=0.$

(12)

根据(9)和(12)式,有$\lim\limits_{n\rightarrow \infty}\widehat{\lambda}_{EB}= \lim\limits_{n\rightarrow \infty}\widehat{\lambda}_{HB}.$证毕.

定理3表明,当n为无穷大时,$\widehat{\lambda}_{EB}$与$\widehat{\lambda}_{HB}$是渐近相等的;或当n较大时,$ \widehat{\lambda}_{EB}$和$ \widehat{\lambda}_{HB}$和是比较接近的.

已知某细胞单位所含白细胞的个数服从Poisson分布,对1008个细胞单位进行观察,所得数据如表 1所示(见文献^[7]).其中k表示细胞单位所含白细胞的个数,n_{k}表示1008个观测单位中含有k个白细胞的细胞单位数.

根据表 1,定理1和定理2,$ \lambda$的E-Bayes和多层Bayes估计的计算结果,如表 2所示(c=1,2,$\cdots$,7).

从表 2可以看出,对不同的$c (c=1,2,\cdots,7),\widehat{\lambda}_{EB}$的极差为0.0084,$\widehat{\lambda}_{HB}$的极差为0.0181,因此$\widehat{\lambda}_{EB}$和$\widehat{\lambda}_{HB}$都是稳健的. 对相同的c(c=1,2,$\cdots$,7),$\widehat{\lambda}_{EB}$和$\widehat{\lambda}_{HB}$比较接近,并且$\widehat{\lambda}_{EB}$和$\widehat{\lambda}_{HB}$满足定理3.

由于对不同的$c (c=1,2,\cdots,7),\widehat{\lambda}_{EB}$和 $\widehat{\lambda}_{HB}$都是稳健的,因此在应用中,作者建议:c在1,2,$\cdots$,7中居中取值,即取c=4.

从表 2还可以看出,当c=1,2,$\cdots,$ 7时,$\widehat{\lambda}_{EB}$的“极差”比$\widehat{\lambda}_{HB}$ 的“极差”小,因此从这个意义上说E-Bayes估计比多层Bayes估计的稳健性好.

本文给出了参数的E-Bayes估计的定义,对Poisson分布,在平方损失下给出了参数的E-Bayes估计和多层Bayes估计,并在此基础上给出了E-Bayes估计的性质. 应用实例表明,本文提出的E-Bayes估计法可行且便于应用.

作者认为,提出一种新的参数估计方法,必须回答两个问题:第一个问题,新的估计方法与已有估计方法(计算)结果的差异有多大;第二个问题,新的估计方法与已有估计方法相比,有哪些优点.

定理3已经从理论上回答了第一个问题.另外,又从应用实例中看到了$\widehat{\lambda}_{EB}$和$\widehat{\lambda}_{HB}$计算结果的差异------虽不同但十分接近.

至于第二个问题------ E-Bayes估计法的优点,从定理1和定理2的表达式上看,显然$\lambda$的E-Bayes估计比多层Bayes估计简单.另外,从应用实例的具体计算中,我们也可以体验到E-Bayes估计比多层Bayes估计简单,并且E-Bayes估计比多层Bayes估计的稳健性好.关于E-Bayes估计法的其它优点,还有待进一步研究. 关于E-Bayes估计法的其他研究,见文献^[10-13]等.