考虑非线性自回归模型

其中$f(\cdot)$为${\mathbb R}^p$上的实值可测函数, $\theta = (\theta_1, \theta_2, \cdots, \theta_q)^T$为未知参数且其真实值为$\theta_0$, $\{\epsilon_t\}$为独立同分布的随机误差, $\epsilon_t$与$\{x_s, s<t\}$独立.显然,模型(1.1)包含了一系列在金融统计文献中被广泛研究的非线性时间序列模型,具体可见文献[1-2].由于现实世界的运动规律往往是非线性的,因此模型(1.1)在近十年受到了较多的关注,如金阳和安鸿志^[3-4]以及张韧和张绍义^[5]研究了平稳非线性自回归模型中矩的存在性问题,周杰等^[6-7]考虑了未知参数的$L_1$估计及其渐近分布, Cheng和Sun^[8]研究了随机误差的拟合分布检验, Fu和Yang^[9], Cheng^[10]和Li^[11]考虑了随机误差的密度函数估计问题, Cheng^[12]研究了随机误差的方差估计问题.

在上述非线性自回归模型研究的文献中,所涉及的关于$\theta$的参数估计方法大多采用最小二乘估计或中位数($L_1$、LAD)估计.由于金融时间序列数据常常具有方差无穷这样的重尾性质以及异常点,最小二乘估计显然易受影响而不稳健;中位数估计虽较稳健,但和最小二乘估计都有一个共同的缺点,就是只研究解释变量对响应变量均值(中位数)的影响,然而在实际应用中,我们有时候更关心变量的尾部特征.例如,股票市场之间的流动性,金融风险的传染性,都是用尾部相关性来描述的.由Koenker和Bassett^[13]所提出的分位数估计,利用解释变量和响应变量的条件分位数进行建模,不但具有较好的稳健性,而且还可以描述响应变量的条件分位数,在金融时间序列分析中有着广泛的应用.但是对具有异常点的金融时间序列数据而言,即使是分位数估计也不能有效降低高杠杆点的影响,但Ling^[14]所提出的自加权估计却可以通过选择合适的权重函数而有效地解决这一问题.有鉴于此,本文拟对模型(1.1)中的未知参数构建更为稳健的自加权M -估计,并研究该估计的渐近分布.

设$x_1, x_2, \cdots, x_n$是满足模型(1.1)的观测值(令$x_t = 0, t\le0),$则$\theta$的真实值$\theta_0$的自加权M -估计$\hat{\theta}_{SM}$可由

解得,其中$\Theta\subset {\mathbb R}^q$为包含真实值$\theta_0$的参数空间, $\rho: = \rho(\cdot)$为满足一定条件的非负凸函数, $w_t$为一基于$(x_{t-1}, \cdots, x_{t-p})$的正值权重函数.

对非线性自回归模型(1.1),记

则模型(1.1)可记为

为了保证模型的平稳性以及有效降低高杠杆点的影响,我们先给出关于模型和权重函数的几个假设条件.

(A1) (ⅰ) $\epsilon_t$的密度函数$g(x)$处处大于零, ${\textsf{P}}(|\epsilon_t|>x)\sim x^{-\alpha}L(x)\; (x\to\infty)$,其中$\alpha>0$, $L(x)$为一缓变函数.

(ⅱ)存在一个${{\Bbb R}}^p$上的向量模$\|\cdot\|_u$以及正常数$C_r$和$0\le r<1$,对$\forall{X\in{{{\Bbb R}}^p}}$有$\|\Phi(X)\|_u\leq r\|{X}\|_u+C_r.$

(A2) $g(x)$连续可微, ${ }\sup_{x\in{R}}g(x)<\infty$, ${ }\sup_{x\in{R}}|g'(x)|<\infty$, $f(X_{t-1}, \theta)$关于各个分量二阶连续可微.

(A3) $w_t = \varphi(x_{t-1}, \cdots, x_{t-p})$为一正值可测函数,且满足

其中$\|\cdot\|_1$表示向量的欧式范数, $\|\cdot\|_2$表示矩阵的Frobenius范数,

注1.1  由金阳和安鸿志^[3]的结果可知,在假设条件(A1)成立的情况下, $(1.3)$式定义的$X_t$是几何遍历的,从而模型$(1.1)$中的$x_t$也是几何遍历的且模型$(1.1)$有唯一平稳解,同时$x_t$的平稳分布也满足${\textsf{P}}(|x_t|>x)\sim x^{-\alpha}L(x)\; (x\to\infty);$结合假设条件(A2),又可知$Y_{t, \theta}$的平稳遍历性.假设条件(A3)则是用自加权方法处理无穷方差时常用的条件,它给出了选择$w_t$函数的一个标准.

为了使得$\hat{\theta}_{SM}$有渐近正态性,我们需要限制函数$\rho$的范围.对$\rho$所加的条件通常有两种:一种是$\rho$的一阶导数有界, $\rho$无界;另一种是$\rho$和$\rho$的一阶导数都有界. Huber^[15]和Yohai^[16]表明若$\rho$有界,则所得估计对尾分布很稳健;若$\rho$的一阶导数也有界,则该估计对异常点很稳健.根据模型(1.1)的非线性特点,我们要求凸函数$\rho$满足如下假定.

(A4) $\rho$的一阶导数$\psi$存在且有界,即存在常数$K$使得${ }\sup_{x\in R}|\psi(x)|\le K.$

(A5) $G(t) = {\textsf{E}}\psi(\epsilon_1+t)$存在, $G(0) = 0$且$G(t)$在0点的导数值为$\lambda\neq0.$

(A6) ${\textsf{E}}\psi^2(\epsilon_1) = \tau^2<\infty,$且当$t\to\infty$时, ${\textsf{E}}(\psi(\epsilon_1+t)-\psi(\epsilon_1))^2\to0.$

注1.2  假设条件(A4)–(A6)是在处理M -估计时经常用到的标准假设,很多常用的稳健估计的$\rho$函数都可以满足这些条件,比如$L_1$估计、分位数估计、Huber估计等.如果$\rho$不可微但存在左右导数$\psi_{-}$和$\psi_{+}$,则可选择一$\psi$函数满足$\psi_{-}\le\psi\le\psi_{+},$故在本文中我们直接使用$\psi$函数.

接下来介绍我们的主要结论.

定理1.1  若假设条件(A1)–(A6)成立,则在$\theta_0$的半径为$r$的邻域内, $(1.2)$式存在局部极小值$\hat{\theta}_{SM}$,当$n\rightarrow\infty$时,有

其中$r>0$为一足够小的常数, $N_q$表示$q$维正态随机向量, $\Sigma = {\textsf{E}}(w_tY_{t, \theta_0}Y^T_{t, \theta_0}), \Xi = {\textsf{E}}(w^2_tY_{t, \theta_0}Y^T_{t, \theta_0})$, $\stackrel{d}\longrightarrow(\stackrel{p}\longrightarrow)$表示依分布$($概率$)$收敛.

注1.3  假设条件(A1)(ⅰ)中所定义的$\epsilon_t$显然包括了方差无穷的情况,特别是$\alpha = 1$时,即可取柯西分布.因此,定理$1.1$在允许$\epsilon_t$方差无穷的重尾条件下建立了非线性自回归模型的自加权M -估计的渐近分布,推广了已有的结论.

为了说明自加权M -估计的普适性,我们给出几个常用的$\rho$作为例子.记$\epsilon_t$的分布函数为$F$,密度函数为前面所定义的$g$.

例1.1  令$\rho(x) = |x|$,则$\psi(x) = sign(x)$,此时的$\hat\theta_{SM}$即为自加权最小一乘估计或自加权$L_1$估计.计算可得$\lambda = 2g(0), \tau^2 = {\textsf{E}} sign^2(\epsilon_1) = 1$.因此,在定理$1.1$的条件下,有

显然,该结论中允许误差分布为柯西分布,降低了周杰等^[7]中要求${\textsf{E}}\epsilon_t^\delta<\infty\; (\delta\ge1)$的条件.

例1.2  令$\rho(x) = x(\kappa-I(x<0))$,其中$0<\kappa<1$,则$\psi(x) = \kappa-I(x<0)$,此时的$\hat\theta_{SM}$即为自加权$\kappa$分位数估计.计算可得$\lambda = g(0), \tau^2 = \kappa^2-(2\kappa-1)F(0),$根据定理$1.1$即有

例1.3  令$\rho(x) = \left\{ \begin{array}{lcl} \frac{1}{2}x^2, & & {|x|\le k}, \\ k|x|-\frac{1}{2}k^2, & & {|x|\ge k}, \end{array} \right.$则$\psi(x) = \left\{ \begin{array}{lcl} -k, & & {x<-k}, \\ x, & & {|x|\le k}, \\ k, & & {x>k}. \end{array} \right.$这是稳健估计中常用的Huber估计所采用的$\rho$函数,相应的$\hat\theta_{SM}$即为自加权Huber估计.计算可得

显然,它也有类似于$(1.4)$式的渐近分布.

这一部分将对$\theta_0$的自加权M -估计进行有限样本的模拟研究,主要比较两类自加权M -估计与最小二乘估计$\hat{\theta}_{LS}$、$L_1$估计$\hat{\theta}_{L_1}$在某些重尾误差分布下的表现.

考虑模型

其中$\theta = (\theta_1, \theta_2)$的真实值分别取$(-0.9, 2), (0.9, -2)$, $x_0$的初始值为0, $\epsilon_t$服从三类不同的重尾分布: (a)自由度为3的$t$分布:$\epsilon_t \sim t(3)$; (b)自由度为2的$t$分布:$\epsilon_t \sim t(2)$; (c)柯西分布:$\epsilon_t \sim$ Cauchy$(0, 1)$.我们选取权重函数为

其中$a_t = |x_{t-1}|I(|x_{t-1}|\geq C)$, $C>0$是一个常数且一般选取数据$x_1, x_2, \cdots, x_n$的0.9分位数.为了确保$w_t$存在，我们在生成数据时要防止0.9分位数是0的情况(实际上可以通过调节分位点来避开$w_t$不存在的情况).

在模拟时,分别产生样本容量为200和400的观察数据,计算相应的自加权Huber估计、自加权$L_1$估计与最小二乘估计、$L_1$估计,并计算重复运行2000次后的均值(Mean)与标准差(SD).由于$\theta_1$的估计都较好,故只对$\theta_2$的四类估计(自加权Huber估计($\hat{\theta}_{2_{SM_1}}$)、自加权$L_1$估计($\hat{\theta}_{2_{SM_2}}$)、最小二乘估计($\hat{\theta}_{2_{LS}}$)、$L_1$估计($\hat{\theta}_{2_{L_1}}$))的模拟结果进行比较,具体可见表 1–3.

从表中数据可以看出,两类自加权M -估计的均值和标准差均比另两种常用估计所得到的结果要好,特别是在随机误差服从柯西分布时,自加权M -估计表现更优.

在给出证明之前,我们首先给出两个重要的引理.引理3.1同弱收敛随机过程极小点的渐近性质所相关,引理3.2则在定理1.1的证明中起到了重要的作用.

引理3.1  设$\nu_n(\cdot)$和$\nu(\cdot)$是${\mathbb R}^q$中的随机过程,在$C({\mathbb R}^q)$中有$\nu_n(\cdot)\stackrel{d}\to\nu(\cdot),$其中$C({\mathbb R}^q)$表示由${\mathbb R}^q$中的连续函数所组成的线性空间.

(i)若$\xi_n$和$\xi$分别是$\nu_n(\cdot)$和$\nu(\cdot)$的最小值点, $\xi$依概率唯一, $\nu_n(\cdot)$具有凸的样本路径,则在${\mathbb R}^q$中有$\xi_n\stackrel{d}\longrightarrow\xi$.

(ii)若$\xi$是$\nu(\cdot)$唯一的最小值点,则$\nu_n(\cdot)$存在局部极小值点$\xi_n$,使得在${\mathbb R}^q$中有$\xi_n\stackrel{d}\longrightarrow \xi$.

证  具体可见文献[17]中的引理2.2和注记1.

引理3.2  在定理$1.1$的条件下,我们有

其中$\epsilon_{t}(\theta_0) = x_t-f\big(x_{t-1}, x_{t-2}, \cdots, x_{t-p}, \theta_0\big).$

证  由Cramér-Wold定理,只需说明对任意满足${\bf b}\Xi{\bf b}^T>0$的${\bf b} = (b_1, b_2, \cdots, b_q)\in{{\mathbb R}^q},$有

其中$\sigma^2 = {\bf b}\Xi {\bf b}^T.$

记$\frac{1}{\sqrt{n}}\sum\limits_{t = 1}^nw_t{\bf b}Y_{t, \theta_0} \psi(\epsilon_{t}(\theta_0)) = :\sum\limits_{t = 1}^n\epsilon_{nt}.$显然, $\epsilon_{nt}$是一基于$\digamma_{n, t} = \sigma(\epsilon_1, \cdots, \epsilon_t)$的鞅差序列,且

其中在最后一步中我们利用了由假设条件(A1)和(A2)以及平稳遍历性定理所推出的

事实上,由假设条件(A1)和(A2)以及平稳遍历性定理还可推出

因此,根据鞅中心极限定理以及(3.2)式,为了说明(3.1)式成立,只要说明Lindeberg条件满足即可,即对$\forall\eta>0$,有

接下来我们证明(3.5)式成立.对$\forall\eta>0$,我们有

因此,为证(3.5)式成立只要说明

成立即可.

我们注意到对任意的$M>0$有

且在$\theta = \theta_0$的条件下所得的$\epsilon_{t}(\theta_0)$即为前面所述的$\epsilon_t$.因此,对于任意$M>0$,当$1\leq t \leq n$时,有

从而可得

由${\textsf{E}}\psi^2(\epsilon_1)<\infty$可知,对任意的$\varpi>0$,存在某个充分大的$M = M(\varpi)$使得

同时,由(3.2)式以及平稳遍历性可知$\max\limits_{1\leq t \leq n}\frac {|w_t{\bf b}Y_{t, \theta_0}|^2}{n}\stackrel{p}{\to}0.$这也就意味着

再结合$\varpi$的任意性即得(3.5)式成立.

接下来开始定理1.1的证明.

证  令$\hat{\nu} = \sqrt{n}\big(\hat{\theta}_{SM}-\theta_0\big).$显然, $\hat{\nu}^T$是下式的极小化解

记

于是我们可以得到

由假设条件(A4)可得

由于$\sum\limits_{t = 1}^n\big(\xi_t(\nu)-{\textsf{E}}(\xi_t(\nu)|\digamma_{n, t-1})\big)$是一鞅差,且由Cauchy-Schwartz不等式可得

故结合(3.3)式可得$\sum\limits_{t = 1}^n\big(\xi_t(\nu)-{\textsf{E}}(\xi_t(\nu)|\digamma_{n, t-1})\big) = o_p(1),$再结合(3.4)式和引理3.2即有

令

{则由假设条件(A6)以及上述证明过程可知, $Z_n^{**}(\nu)$与$Z_n^*(\nu)$有相同的极限,所以在$C({\mathbb R}^q)$中有$Z_n^{**}(\nu)\stackrel{d}{\longrightarrow}Z(\nu)$.同时,由$\psi$的有界可得

其中$\theta^*$是$\theta_0$和$\theta_0+n^{-\frac{1}{2}}\nu$之间的某一向量.}显然, $\theta^*\stackrel{p}\to\theta_0$,从而由假设条件(A3)可知,对任意给定的$\nu$, $Z_n(\nu)-Z_n^{**}(\nu)\stackrel{p}\longrightarrow0$,即在$C({\mathbb R}^q)$中有$Z_n(\nu)\stackrel{d}\longrightarrow Z(\nu)$.显然, $Z(\nu)$在$\frac{1}{\lambda} \Sigma^{-1}R$处有唯一的最小值.由引理3.1, $Z_n(\nu)$存在局部极小值序列$\hat{\nu}^T$且满足

定理1.1证毕.