1 引言
互联网信息技术的迅速发展引领人们进入了大数据时代, 大数据所展现出的规模与复杂性使得传统的统计方法遭受巨大的冲击, 由于传统的统计分析理论仅适用于协变量维数远小于样本量的情形, 因此不再普遍适用于高维模型. 随着高维数据在生物信息、金融管理等领域[1 ] 的广泛普及, 人们对高维模型中的变量选择问题提出了更高的要求, 即寻求更简约和科学的预测变量以分析与响应变量的关系, 提高模型的解释能力.
在高维模型的变量选择问题中, 高维变量间通常具有很强的相关性, 如同一行业的股票往往表现出显著的相关收益; 基因表达经常受到细胞因子的刺激或受到生物过程的调控等. 若忽视变量间的强相关性, 则会使得高维统计推断方法产生较大的系统性偏差而降低效率. 一般的线性回归模型已不足以解决这类问题, 但是引入随机效应可以有效克服该模型的缺陷, 提高模型的预测精度和建模的灵活性. 因此, 研究高维随机效应线性回归模型[2 ] 至关重要.
当前人们普遍利用正则化方法产生稀疏解以实现变量选择的目的. 而是否具有渐近性质是用来判断正则化方法优劣的重要指标, 该性质刻画了当主体数量趋于无穷大时, 其解所具有的一致性和Oracle性质. 在实践中, 人们发现这些具有强相关性的高维预测变量间具有自发的分组结构, 很多学者[3 ] 利用这一特性合并这些有用的信息, 简化模型以改进统计建模和推断. 如Diaz-Uriarte等(2003)利用主成分分析构建寻找一组高度相关的基因. Hastie等(2003)使用有监督的学习方法选择由层次化学聚类发现的预测基因组. 故分组效应[4 ] 对于高维随机效应线性回归模型中的变量选择问题是必要的.
下面是几种典型且应用广泛的正则化方法.$\!\!$ 1970 年,$\!\!$ [5 ] 提出L$_2$ $_2$ $\!\!$ 1996 年, Tibshirani[6 ] 提出Lasso惩罚方法, 其基本思想是用L$_1$ $_2$ [7 ] 提出了一种典型的非凸正则化模型SCAD惩罚法, 该方法能产生稀疏解, 具有渐近性质但不具备分组效应.$\!\!$ 2005 年, Zou和Hastie[8 ] 充分结合了L$_1$ $_2$ $_1$ $_2$ $\!\!$ 2010 年, Zeng等[9 ] 受到弹性网的启发, 通过将SCAD函数与L$_2$ $_2$ $_2$
针对高维随机效应线性回归模型, 如何同时选择固定效应和随机效应是解决上述问题的关键. 很多学者提出了一些变量选择的方法, 如2011年, Joseph等[10 ] 提出了基于SCAD和自适应Lasso的混合惩罚方法以同时选择高维随机效应线性回归模型中的固定效应和随机效应, 并证明了该方法具有渐近性质. 虽然他们通过数值实验发现该方法减小了过拟合问题, 但其在处理相关性较大的数据集上有所欠缺, 不具有分组效应.$\!\!$ 2012 年, Zeng等[9 ] 提出将SCAD_L$_2$ $a_i=0$ $\!\!$ 2021 年, 有学者[11 ] 提出了双SCAD分位回归方法, 但该方法也不具有分组效应. 本文改进了现有的基于双惩罚思想的变量选择方法, 综合考虑上述不同惩罚函数的性质, 提出了基于SCAD_L$_2$ $_2$
本文其余部分结构如下: 第2节介绍了高维随机效应线性回归模型, 且提出了混合惩罚方法并在理论上证明其优良的统计性质; 第3节给出基于混合惩罚的高维随机效应线性回归模型的两步迭代算法; 第4-5节在不同信噪比和随机效应下对模型进行蒙特卡洛模拟和实例验证, 给出该惩罚方法与其他惩罚方法的对比结果; 第6节为总结与展望.
2 SCAD_L$_2$
本文将研究如下形式的高维随机效应线性回归模型[12 ]
(2.1) $\begin{equation}Y_{ij}=x_{ij}^{\rm T}\beta+z_{ij}^{\rm T}\alpha_i+\epsilon_{ij},\sum\limits_{i=1}^{n}n_i=N,\end{equation}$
其中 $n$ $n_i$ $i$ $i=1,2,\cdots,n$ $Y_{ij}$ $i$ $j$ $j=1,2,\cdots,n_i$ $x_{ij}^{\rm T}$ $n\times k$ $\beta=(\beta_1,\beta_2,\cdots,\beta_k)^{\rm T}$ $k$ $z_{ij}$ $p$ $\alpha_i=(\alpha_{i1},\alpha_{i2},\cdots,\alpha_{ip})^{\rm T}$ $i$ $p$
针对模型(2.1), 本文提出了一种结合罚函数SCAD_L$_2$
(2.2) $\begin{equation}\min_{\beta,\alpha}L^*(\beta,\alpha)=\sum\limits_{i=1}^{n}\sum\limits_{j=1}^{n_i}(y_{ij}-x_{ij}^{\rm T}\beta-z_{ij}^{\rm T}\alpha_i)^2+\sum\limits_{j=1}^{k}P_{\lambda_1}(|\beta_j|)+\lambda_2 \Vert \beta \Vert^2+\sum\limits_{i=1}^{n}\sum\limits_{t=1}^{p}P_{\lambda_3}(|\alpha_{it}|),\end{equation}$
其中 $\lambda_i>0\ (i=1,2,3)$
其中 $a>2$ $ \sum\limits_{j=1}^{k}P_{\lambda_1}(|\beta_j|)+\lambda_2 \Vert \beta \Vert^2$ $_2$ $\sum\limits_{i=1}^{n}\sum\limits_{t=1}^{p}P_{\lambda_3}(|\alpha_{it}|)$
为方便探讨模型(2.2)的性质, 这里参考文献[15 ]将其重新表述为如下形式
(2.3) $\begin{matrix} {\min _{\beta,\alpha }}{L^{**}}(\beta,\alpha ) &=& \sum\limits_{i = 1}^n {\sum\limits_{j = 1}^{{n_i}} {{{({y_{ij}} - x_{ij}^T\beta - z_{ij}^T{\alpha _i})}^{\rm{2}}} + n\sum\limits_{j = 1}^k {{P_{{\lambda _{\rm{1}}}}}\left( {\left| {{\beta _j}} \right|} \right)} } } \\&&+ n{\lambda _2}||\beta |{|^2} + n\sum\limits_{i = 1}^n {\sum\limits_{t = 1}^p {{P_{{\lambda _{\rm{3}}}}}\left( {\left| {{\alpha _{it}}} \right|} \right)} }, \end{matrix}$
当$n$ $\lambda_2$ $n\lambda_2$ . 相仿地本文用$\lambda_1(n)$ $\lambda_3(n)$ $\lambda_1$ $\lambda_3$ $n$ $\left\{ {\left( {{x_{ij}},{Y_{ij}}} \right),i = 1,\cdots,n;j = 1,\cdots,{n_i}} \right\}$
定理 2.1 (一致性) 对于模型(2.2), 若当$n$ $\infty$ $\lambda_1(n)$ $\lambda_3(n)$ $\sqrt n\lambda_2(n)$ $0$ ${L^*}(\alpha,\beta )$ $\hat \beta \left( n \right)$ $\hat \alpha \left( n \right)$
其中${\beta ^ * } = \left( {\beta _1^{*},\cdots,\beta_k^{*}} \right)^T$ ${\alpha ^ * } = \left( {\alpha _1^{*},\cdots,\alpha_p^{*}} \right)^T$
注 2.1 这里对$\hat\beta(n)$ $[9 ]$ $\hat\alpha(n)$
定理 2.2 (Oracle性质) 对于模型(2.2), 若当$n$ $+\infty$ $\lambda_1(n)$ $\lambda_3(n)$ $\sqrt n\lambda_2(n)$ $0$ $\sqrt n\lambda_1(n)$ $\sqrt n\lambda_3(n)$ $+\infty$
(1)稀疏性: ${\hat \beta_Z}\left(n\right) = 0$ ${\hat \alpha _{{Z_1}}}\left( n \right) = 0$ .
其中${\Sigma _M}$ ${\Sigma _{M_1}}$ $d$ $\beta_{M}^* = {({\beta_{1}^*},\cdots,{\beta_{d}^*})^T}$ $\beta _Z^* = {({\beta _{d + 1}},\cdots,{\beta _k})^T}$ $\alpha _{M1}^* = {\left( {{\alpha _1^*},\cdots,{\alpha _r^*}} \right)^T}$ $\alpha _{Z1}^* = {\left( {\alpha_{ r + 1}^*,\cdots,\alpha_p^*} \right)^T}$
注 2.2 对固定效应中$\hat\beta(n)$ $[9 ]$ $\hat\alpha(n)$
为验证混合惩罚方法对固定效应的系数估计具有分组效果, 下面证明模型 (2.2)的分组效应.
定理 2.3 [9 ] 记 $P_{{\lambda _1},{\lambda _2},{\lambda _3}}\left( {\theta,{\alpha _j}} \right) = P_{\lambda _1}\left( \theta \right) + {\lambda _2}{\theta ^2} + P_{\lambda _3}\left( {{\alpha _j}} \right).$ ${\theta _1}$ ${\theta _2}$ ${\theta _1} \cdot {\theta _2} > 0,$ ${\lambda _2} > 1/2\left( {a - 1} \right)$
其中 $P_{\lambda _1}\left( \theta \right)$ $P_{\lambda _3}\left( \theta \right)$ $P{'_{{\lambda _1},{\lambda _2},{\lambda _3}}}(\theta,{\alpha _j})$ ${P_{{\lambda _1},{\lambda _2},{\lambda _3}}}(\theta,{\alpha _j})$ $\theta $ $C = 2{\lambda _2} - 1/(a - 1)$ .
定理 2.4 (分组定理) 对于给定的数据 $\left({x_{ij}^T,{Y_{ij}}} \right)$ ${\lambda _1}$ ${\lambda _2}$ ${Y_{ij}}$ $x_{ij}^T$ $j$ $x_{{i_1},j}^{\rm T}$ $x_{{i_2},j}^{\rm T}$ ${\beta _{{i_1}}}$ ${\beta _{{i_2}}}$ $D_{{\lambda _1},{\lambda _2}}\left({{i_1},{i_2}} \right)$
(2.4) $\begin{matrix} {D_{{\lambda _1},{\lambda _2}}}({i_1},{i_2}) \le \frac{1}{{{\lambda _2}}}\sqrt {2(1 - \rho )}, \end{matrix} $
其中 $\rho = {x_{{i_1},j}^{\rm T}}x_{{i_2},j}$ $D_{{\lambda _1},{\lambda _2}}\left( {{i_1},{i_2}} \right) = 1/{\left| y \right|_1} \cdot \left| {{{\hat \beta }_{{i_1}}}\left( {\lambda_1,\lambda_2} \right) - {{\hat \beta }_{{i_2}}}\left( {\lambda_1,\lambda_2} \right)} \right|$ $\hat \beta \left( {\lambda_1,\lambda_2} \right)$
(2.5) $\begin{equation}{L_{{\lambda _{\rm{1}}},{\lambda _{\rm{2}}},{\lambda _{\rm{3}}}}}\left( {\beta,\alpha } \right){\rm{ }} = \frac{1}{2}{\left\| {y - X\beta - Z\alpha } \right\|^2} + \sum\limits_{{i_1} = 1}^k {{P_{{\lambda _{\rm{1}}},{\lambda _{\rm{2}}}}}({\beta _{{i_1}}}) + \sum\limits_{{i_1} = 1}^n {\sum\limits_{j = 1}^p {{f_{{\lambda _{\rm{3}}}}}({\alpha _{ij}}} ),} } \end{equation}$
其中 ${\beta _{{i_1}}}$ $\beta $ ${i_1}$
对 ${\beta _{{i_1}}}$
(2.6) $\begin{equation} \frac{{\partial L}}{{\partial {\beta _{{i_1}}}}} = x_{{i_1}}^{\rm T}(y - X\beta - Z\alpha ) + P_{\lambda_{1},\lambda_{2}}'({\beta _{{i_1}}}). \end{equation}$
注 2.3 定理2.4给出了两个估计系数间距离的上界. 如果两个估计系数之间相关系数的绝对值接近于$\mathrm{1}$
综上, 该混合惩罚方法在理论上是一种优良的变量选择和系数估计方法.
3 两步迭代算法
本节利用模型(2.2)的结构特性, 采用两步迭代法求解模型(2.2). 下面给出模型 (2.2)中惩罚参数的选取准则和算法描述.
3.1 惩罚参数的选取准则
根据模型(2.2)可以看到惩罚函数有三个调优参数 $\lambda_1 $ $\lambda_2 $ $\lambda_3 $ . 综合考虑不同参数选取原则的优劣性, 本文采用广义交叉验证法[15 ] (Generalized Cross Validation, GCV) 确定它们的取值. 具体流程为: 为待选参数设置一个三维网格, 其中令 $\lambda_1 $ $\lambda_3 $ $(0.01,10];$ $ \{0.001, 0.01, 0.1, 1, 10\}$ $\lambda_2 $
(3.1) $\begin{matrix}GCV(\lambda_ {\rm{1}},\lambda_ {\rm{2}},\lambda _{\rm{3}}) = \frac{1}{n}\frac{{{{\big\| {y - X\hat \beta (\lambda _{\rm{1}},\lambda_ {\rm{2}}) - Z\hat \alpha (\lambda_ {\rm{3}})} \big\|}^2}}}{{(1 - \frac{{e(\lambda_ {\rm{1}},\lambda_ {\rm{2}},\lambda_ {\rm{3}})}}{n})}}, \end{matrix}$
$e(\lambda_{\rm{1}},\lambda_{\rm{2}},\lambda_{\rm{3}})$
3.2 算法描述
步 1 初次迭代求解时令 ${\hat \alpha _i}^{(s)} = 0{\rm{ }}\ (i = 1,2,\cdots,n)$ $\beta $ ${L_2}$ ${\hat \beta ^{\left( s \right)}}{\rm{ = }}\arg \min L(\beta,0),$ $s=0$ .
步 2 将求解出的 $\hat\beta^{(s)}$ ${r_{ij}}^{\left( s \right)} = {y_{ij}} - x_{ij}^T{\hat \beta ^{\left( s \right)}}$ $\alpha_i$ . 求解模型 $\hat \alpha _i^{\left( {s + 1} \right)}{\rm{ = }}\arg {\min _\alpha }L({\hat \beta ^{\left( s \right)}},{\alpha _i})$ ${\hat \alpha_i ^{\left( s+1 \right)}}$ $y_{ij}^ * = {y_{ij}} - z_{ij}^T\hat \alpha _i^{\left( {s + 1} \right)}$ $\beta $ ${\hat \beta ^{\left( {s + 1} \right)}} = \arg {\min _\beta }L(\beta,\hat \alpha _i^{\left( {s + 1} \right)}){\rm{ }}$ $s = 0,1,\cdots.$
步 3 反复迭代步 2, 当 ${\max _l}\big| {\hat \beta _l^{\left( {s + 1} \right)} - \hat \beta _l^{\left( s \right)}} \big| < \varepsilon {\rm{ }}\ (l = 1,2,\cdots,p)$ $\varepsilon = {10^{ - 4}}$ .
4 蒙特卡洛模拟实验
本节将该混合惩罚方法与双 Lasso 惩罚方法, 双 SCAD 惩罚方法以及不考虑随机效应的 SCAD_${L_2}$
(4.1) $\begin{matrix}{y_{ij}} = {\beta _0} + x_{ij}^{\rm T}\beta + z_{ij}^{\rm T}{\alpha _i} + \sigma {\varepsilon _{ij}}, \end{matrix} $
其中 ${\beta _0} = 0$ ${\rm{ }}\beta = {(3, - 1.5,0,0,2,0,0,0)^T}$ $x_{ij}^T = ({x_{i{j_1}}},{x_{i{j_2}}},\cdots,{x_{i{j_8}}})$ $(i = 1,2\cdots,n; j = 1,$ $\cdots,{n_i})$ $\sigma$ $\epsilon_{ij}$ $ n = 30$ ${n_i} = 100$ $(i = 1,2,\cdots,30)$ . 对于固定的 $i$ $j$ $x_{ij}^{\rm T}$ $x_{ij}^{\rm T}$ $x_{ij_l}$ $x_{ij_k}$ ${\hat \rho ^{\left| {l - k} \right|}}$ $\hat \rho $ $(0<\hat \rho <1)$ $\hat \rho = 0.8$ . 并令截距和第一个自变量具有随机效应, 即 $z_{ij}^T = (1,{x_{i{j_1}}})$ $i=1,2,\cdots,n$ ${\alpha _i} = (\alpha _{i0},\alpha _{i1})^{\rm T} \mathop \sim\limits^{i.i.d.} N_2(0,1), $ $\varepsilon _{ij} \mathop \sim\limits^{i.i.d.} N(0,1)$ . 在下文所有的模拟实验中规定: 若系数估计值的绝对值小于 $10^{-4}$
下面引入三个衡量指标以比较在不同信噪比和随机效应下混合惩罚方法变量选择能力的差异.
4.1 衡量指标
本文采用均方误差 (Mean Square Error, MSE) 作为评价混合惩罚方法的系数估计效果的衡量指标之一. 通过综合考虑运行时间成本, 本文对模型(4.1)进行了 100 次模拟实验. 根据该模型生成的数据, MSE 的定义如下所示
(4.2) $\begin{matrix}MSE = \frac{1}{{10{\rm{0}}}}\sum\limits_{m = 1}^{10{\rm{0}}} {({{\hat \beta }^m}} - \beta {)^{\rm T}}\sum\limits_{m = 1}^{10{\rm{0}}} {({{\hat \beta }^m}} - \beta ),\end{matrix}$
其中 ${\rm{ }}{\hat \beta ^m}$ $m$ $\beta $
另外, 本文采用两个常用指标$F1$ $F2$ [16 ] 分别如下
注4.1 由$F1$ $F2$ $F1$ $1$ $F2$ $1$
4.2 “信噪比”对混合惩罚的影响
下面根据上述三个衡量指标比较不同“信噪比”下混合惩罚方法的系数估计效果和变量选择能力. 利用模型(4.1)生成模拟数据, 为进一步体现随机效应的影响, 本文设置 $z_{ij}^{\rm T} = (1,{x_{i{j_1}}},\cdots,{x_{i{j_6}}})$ ${\alpha _i} = ({\alpha _{i0}}, {\alpha _{i1}},\cdots,{\alpha _{i6}})^{\rm T}\mathop \sim\limits^{i.i.d.} {N_7}(0,D),$ $D = diag(1,1,1,1,0,0,0)$ . 本文分别给出信噪比 $\sigma $ 表1 所示.
下面将根据表1 给出如下模拟结果分析: 当信噪比逐渐增大时, 混合惩罚方法筛选正确变量的能力和系数估计效果均在下降; 而其排除无关变量的能力均有不同程度的变化, 当$\sigma $ $F2$ $\sigma $
4.3 随机效应对混合惩罚的影响
下面根据上述三个衡量指标比较不同随机效应影响下混合惩罚方法的系数估计效果和变量选择能力. 同样利用模型(4.1)产生模拟数据, 基于前述信噪比对混合惩罚方法的影响分析, 这里取 $\sigma = 1$ $D$
这里协方差矩阵 $D_i$ [11 ] , 即依次增加了随机效应对模型(4.1)的干扰程度, 所得实验结果均为经过 100 次测试后得到的平均值, 如下所示.
下面将根据表2 给出如下模拟结果分析: 当随机效应增强时, 混合惩罚方法系数估计效果下降且误差受随机效应因素影响较大; 当随机效应的干扰程度较小或较大时, 混合惩罚方法的变量选择能力几乎不受影响且保持在较高水平, 故当随机效应的协方差为$D_1$
4.4 不同惩罚方法的效果比较
本节将在上述实验中确定的最佳信噪比和随机效应下, 从衡量指标效果和分组效应效果两方面比较该混合惩罚方法、双Lasso惩罚方法、双SCAD惩罚方法和不考虑随机效应的SCAD_L${_2}$
4.4.1 衡量指标的效果比较
下面利用模型(4.1)产生数据, 然后分别讨论固定系数在系数模型和稠密模型两种情况下的系数估计效果和变量选择能力.
这里均选取相同的 $\sigma $ $D$ $\sigma = 1$ $D = diag(1,1,1,1,0,0,0)$ ${\varepsilon _{ij}}\sim N(0,1)$ . 由数值结果得到稀疏模型情况下不同惩罚方法的效果比较表, 所得实验结果均为经过 100 次测试后得到的平均值, 见表3 .
下面将根据表3 给出如下模拟结果分析: 从衡量指标MSE的计算结果发现: 双Lasso惩罚方法$>$ $>$ $>$ $_2$ $F1$ $F2$
下面将根据表4 给出如下模拟结果分析: 从衡量指标MSE的计算结果发现: 双Lasso惩罚方法$>$ $>$ $>$ $_2$ $F1$
结合表3 -4, 我们可以发现无论是对于高维稀疏模型还是高维稠密模型, 双 Lasso 方法均具有较好的系数估计效果和变量选择能力. 但是从理论上分析, 该方法不具有渐近性质, 故不适用于大样本数据;双SCAD方法对于高维稠密模型更加有效; 此外对于模型(4.1)而言, 仅针对固定效应系数施加惩罚是不够的, 具有一定程度的误差; 而该混合惩罚方法则更加适用于当前热门研究课题中的高维稀疏化模型.
下面从分组效应角度来分析上述不同惩罚方法的效果差异.
4.4.2 分组效应的效果比较
下面将考虑在更高维数的稀疏模型下比较四种不同惩罚方法的分组效果, 这里根据模型 (4.1)生成数据. 为使分组效应[17 ] 在实验中有更明显的结果, 这里需要重新确定各变量的取值, 取 $\beta = (\underbrace {3,\cdots,3}_{15},\underbrace {0,\cdots,0}_{25})$ $k=40$ $ j=1$ $X = {\left( {{x_{ij}}} \right)_{{\rm{40}} \times 1}}$
(4.3) $\begin{matrix} \begin{array}{ll} {x_{ij}} = {Z_1} + {\alpha _{ij}},{Z_1}\sim N(0,1),{\rm{ }}&i = 1,2,\cdots,5, {\rm{ }}j{\rm{ = 1,}}\\ {x_{ij}} = {Z_2} + {\alpha _{ij}},{Z_2}\sim N(0,1),{\rm{ }}&i = 6,7,\cdots,10, {\rm{ }}j{\rm{ = 1,}}\\ {x_{ij}} = {Z_3} + {\alpha _{ij}}{\rm{, }}{Z_3}\sim N(0,1),{\rm{ }}&i = 11,12, \cdots,15,{\rm{ }}j{\rm{ = 1,}}\\ {\rm{ }}{x_{ij}}\sim N(0,1){\rm{ }}&i = 16,17,\cdots,40, {\rm{ }}j{\rm{ = 1,}} \end{array} \end{matrix}$
其中 ${\alpha _{ij}}\sim N(0,0.01), {\rm{ }}i = 1,2,\cdots,15, {\rm{ }}j{\rm{ = 1}}$ . 在仿真实验中,令随机误差 ${\varepsilon _{ij}}\sim N(0,1)$ $\sigma$ $D = diag(1,1,1,1,0)$ $(\lambda_1,\lambda_2,\lambda_3)$ $a$ 7 ]). 由四种不同惩罚方法得到的分组效应结果见表5 , 其中 ${X_i} = {x_{ij}}$ $\beta$ . 下面将根据表5 给出如下模拟结果分析
(1) 在高维稀疏模型中, 利用混合惩罚方法所得系数估计结果更加准确, 并且在以每五个相关性很高的变量为一组的情况下, 相应筛选出来的变量系数近似相等且与真实系数最为接近, 即混合惩罚方法表现了很好的分组效果.
(2) 不考虑随机效应的SCAD_L$_2$
(3) 在高维稀疏模型下, 无论是对模型(2.1)施加双SCAD惩罚方法还是双Lasso惩罚方法, 所得结果均不具备分组效应.
(4) 结合上述三条分析得出: 对于更高维数的稀疏模型, 混合惩罚方法具有很好的分组效应.综上, 该混合惩罚方法具有很好的分组效应, 表现出更优良的系数估计效果和变量选择能力.
5 实例分析
本节将通过实例验证该混合惩罚方法的统计效果. 本文将混合惩罚方法应用于在线新闻流行度数据集[18 ] 研究中, 该数据集总结了一组关于在两个阶段发布的全球之声文章的异构特性, 其研究目的在于使得所发布的文章在社交网络中获得更多的人气.
本文从HTML代码中提取了一个广泛的特性集, 其描述了文章不同方面的特征, 这些特征被认为可能是影响文章流行度的相关因素, 如表6 所示. 其中一些特性依赖于Mashable服务的特殊性: 如文章经常引用在同一服务中发布的其他文章等. 本文还提取了一些自然言语处理的特征, 如LDA算法应用于所有Mashable文本, 并据此确定5个最重要的相关主题, 衡量当前文章与这些主题的密切程度. 这里用$X_i\ (i=1,2,\cdots,60)$
本文借鉴了Fernandes[18 ] 所提出的方法以判断文章是否受欢迎, 这里采用Scikit学习库对预测模型进行拟合, 首先假设一个二元分类任务, 如果其中一篇文章的分享数高于一个固定的决策阈值(这里选用1000), 则认为其是“受欢迎的”, 否则认为是“不受欢迎的”. 对于预测实验, Fernandes在文献[18 ]中采用了滚动窗口方案, 即取训练窗口大小为10000进行29次迭代, 每次迭代进行1000个样本的预测, 并据此测试了五种分类模型. 结果表明, 随机森林(RF)模型在AUC度量方面的表现最佳, 得到的最佳结果(AUC=0.73)比随机分类器高23%, 达到了较好的辨别水平, 是一个良好的分类器. 本文据此对上述四种不同的分类方法做了相似的实验, 结果表明, 该混合惩罚方法在AUC度量方面的表现最佳, 达到72.8%, 与RF模型的分类水平相近, 表明了混合惩罚在该阈值下同样有较好的分类效果.
为了更加直观地验证混合方法的分组效应, 本文根据原始数据分别求得各变量间的相关系数, 结果得到仅$X_{36}$ $X_{38}$ $X_{44}$ $X_{50}$ 表7 所示, 其中表7 中非零 系数对应的变量为筛选出的与人气值最为相关的重要变量, 其余均为非重要变量.
根据表7 发现针对$X_{36}$ $X_{38}$ $X_{44}$ $X_{50}$ $X_{36}$ $X_{38}$ $X_{44}$ $X_{50}$
综上,该混合惩罚方法具有的优良统计性质有利于筛选出影响在线新闻流行度的相关变量以使发布的文章获得最佳人气.
6 总结与展望
本文对模型(2.1)提出了一种基于SCAD_L$_2$
仍有大量工作值得今后继续研究, 如: 将混合惩罚方法进一步应用到随机效应分位回归模型等其他模型中; 对两步迭代算法加以改进以节约模拟实验中计算机的运行时间; 在基因表达和前列腺癌症等实例中验证混合惩罚方法的系数估计和分组效应效果等.
参考文献
View Option
[1]
陈钊 , 范剑青 , 王丹 . 高维因子模型及其在统计机器学习中的应用
中国科学 , 2020 , 50 4 ): 447 -490
[本文引用: 1]
Chen Z Fan J Q Wang D . High-dimensional factor and its applications to statistical machine learning
China Science , 2020 , 50 4 ): 447 -490
[本文引用: 1]
[2]
Ho R K W Hu I . Flexible modelling of random effects in linear mixed model-a bayesian approach
Computational Statistics & Data Analysis , 2008 , 52 3 ): 1347 -1361
[本文引用: 1]
[3]
West M Blanchette C Dressman H , et al . Predicting the clinical status of human breast cancer by using gene expression profiles
Proceedings of the National Academy of Sciences of the United States of America , 2001 , 98 20 ): 11462 -11467
[本文引用: 1]
[4]
Zou H Hastie T . Regularization and variable selection via the elastic net
Journal of the Royal Statistical Society , 2005 , 67 2 ): 301 -320
[本文引用: 1]
[6]
Tibshirani R . Regression shrinkage and selection via the lasso: a retrospective
Journal of the Royal Statistical Society, Series B. Statistical Methodology , 2011 , 73 3 ): 273 -282
DOI:10.1111/j.1467-9868.2011.00771.x
URL
[本文引用: 1]
In the paper I give a brief review of the basic idea and some history and then discuss some developments since the original paper on regression shrinkage and selection via the lasso.
[7]
Fan J Li R . Variable selection via nonconcave penalized likelihood and its oracle properties
Journal of the American Statistical Association , 2001 , 96 456 ): 1348 -1360
DOI:10.1198/016214501753382273
URL
[本文引用: 2]
[8]
Zou H Hastie T . Regularization and variable selection via the elastic net. Journal of the Royal Statistical Society, Series B
Statistical Methodology , 2005 , 67 2 ): 301 -320
[本文引用: 1]
[9]
Zeng L Xie J . Group variable selection via SCAD_L$_2$
Statistics , 2014 , 48 1 ): 49 -66
[本文引用: 5]
[10]
Ibrahim J G Zhu H Garcia R I , et al . Fixed and random effects selection in mixed effects models
Biometrics , 2011 , 67 2 ): 495 -503
DOI:10.1111/j.1541-0420.2010.01463.x
PMID:20662831
[本文引用: 1]
We consider selecting both fixed and random effects in a general class of mixed effects models using maximum penalized likelihood (MPL) estimation along with the smoothly clipped absolute deviation (SCAD) and adaptive least absolute shrinkage and selection operator (ALASSO) penalty functions. The MPL estimates are shown to possess consistency and sparsity properties and asymptotic normality. A model selection criterion, called the IC(Q) statistic, is proposed for selecting the penalty parameters (Ibrahim, Zhu, and Tang, 2008, Journal of the American Statistical Association 103, 1648-1658). The variable selection procedure based on IC(Q) is shown to consistently select important fixed and random effects. The methodology is very general and can be applied to numerous situations involving random effects, including generalized linear mixed models. Simulation studies and a real data set from a Yale infant growth study are used to illustrate the proposed methodology.© 2010, The International Biometric Society.
[11]
任雪妮 , 罗幼喜 . 基于双SCAD惩罚的随机效应分位回归模型
统计与决策 , 2021 , 37 18 ): 9 -13
[本文引用: 2]
Ren X N Luo Y X . Random effects quantile regression model based on double SCAD punishment
Statistics & Decision , 2021 , 37 18 ): 9 -13
[本文引用: 2]
[12]
Bondell H D Krishna A Ghosh S K . Joint variable selection for fixed and random effects in linear mixed-effects models
Biometrics , 2010 , 66 4 ): 1069 -1077
DOI:10.1111/j.1541-0420.2010.01391.x
PMID:20163404
[本文引用: 1]
It is of great practical interest to simultaneously identify the important predictors that correspond to both the fixed and random effects components in a linear mixed-effects (LME) model. Typical approaches perform selection separately on each of the fixed and random effect components. However, changing the structure of one set of effects can lead to different choices of variables for the other set of effects. We propose simultaneous selection of the fixed and random factors in an LME model using a modified Cholesky decomposition. Our method is based on a penalized joint log likelihood with an adaptive penalty for the selection and estimation of both the fixed and random effects. It performs model selection by allowing fixed effects or standard deviations of random effects to be exactly zero. A constrained expectation-maximization algorithm is then used to obtain the final estimates. It is further shown that the proposed penalized estimator enjoys the Oracle property, in that, asymptotically it performs as well as if the true model was known beforehand. We demonstrate the performance of our method based on a simulation study and a real data example.© 2010, The International Biometric Society.
[13]
Fan Y Li R . Variable selection in linear mixed effects models
Annals of Statistics , 2012 , 40 4 ): 2043 -2045
[14]
罗幼喜 , 李翰芳 . 混合效应模型的多惩罚回归过程及其算法收敛性研究
统计与信息论坛 , 2017 , 32 10 ): 3 -10
[本文引用: 1]
Luo Y X Li H F . Research of multi-penalty regression process of mixed effects models and its convergence
Statistics & Information Forum , 2017 , 32 10 ): 3 -10
[本文引用: 1]
[15]
李根 , 邹国华 , 张新雨 . 高维模型选择方法综述
数理统计与管理 , 2012 , 31 4 ): 640 -658
[本文引用: 2]
Li G Zou G H Zhang X Y . A review of high-dimensional model selection methods
Journal of Applied Statistics and Manage , 2012 , 31 4 ): 640 -658
[本文引用: 2]
[16]
Wu Y Liu Y . Variable selection in quantile regression
Statistica Sinica , 2009 , 36 5 ): 801 -817
[本文引用: 1]
[17]
Gregory K B Wang D Mcmahan C S . Adaptive elastic net for group testing
Biometrics , 2019 , 75 1 ): 13 -23
DOI:10.1111/biom.12973
PMID:30267535
[本文引用: 1]
For disease screening, group (pooled) testing can be a cost-saving alternative to one-at-a-time testing, with savings realized through assaying pooled biospecimen (eg, urine, blood, saliva). In many group testing settings, practitioners are faced with the task of conducting disease surveillance. That is, it is often of interest to relate individuals' true disease statuses to covariate information via binary regression. Several authors have developed regression methods for group testing data, which is challenging due to the effects of imperfect testing. That is, all testing outcomes (on pools and individuals) are subject to misclassification, and individuals' true statuses are never observed. To further complicate matters, individuals may be involved in several testing outcomes. For analyzing such data, we provide a novel regression methodology which generalizes and extends the aforementioned regression techniques and which incorporates regularization. Specifically, for model fitting and variable selection, we propose an adaptive elastic net estimator under the logistic regression model which can be used to analyze data from any group testing strategy. We provide an efficient algorithm for computing the estimator along with guidance on tuning parameter selection. Moreover, we establish the asymptotic properties of the proposed estimator and show that it possesses "oracle" properties. We evaluate the performance of the estimator through Monte Carlo studies and illustrate the methodology on a chlamydia data set from the State Hygienic Laboratory in Iowa City.© 2018 Wiley Periodicals, Inc.
[18]
Fernandes K Vinagre P Cortez P . A proactive intelligent decision support system for predicting the popularity of online news
Proceedings of the 17th EPIA 2015-Portuguese Conference on Artificial Intelligence , 2015 : 535 -546
[本文引用: 3]
[19]
Kackar R N Harvulle D A . Unbiasedness of two-stage estimation and prediction procedures for mixed linear models
Communications in Statistics, Series A , 1981 , 10 6 ): 1249 -1261
高维因子模型及其在统计机器学习中的应用
1
2020
... 互联网信息技术的迅速发展引领人们进入了大数据时代, 大数据所展现出的规模与复杂性使得传统的统计方法遭受巨大的冲击, 由于传统的统计分析理论仅适用于协变量维数远小于样本量的情形, 因此不再普遍适用于高维模型. 随着高维数据在生物信息、金融管理等领域[1 ] 的广泛普及, 人们对高维模型中的变量选择问题提出了更高的要求, 即寻求更简约和科学的预测变量以分析与响应变量的关系, 提高模型的解释能力. ...
高维因子模型及其在统计机器学习中的应用
1
2020
... 互联网信息技术的迅速发展引领人们进入了大数据时代, 大数据所展现出的规模与复杂性使得传统的统计方法遭受巨大的冲击, 由于传统的统计分析理论仅适用于协变量维数远小于样本量的情形, 因此不再普遍适用于高维模型. 随着高维数据在生物信息、金融管理等领域[1 ] 的广泛普及, 人们对高维模型中的变量选择问题提出了更高的要求, 即寻求更简约和科学的预测变量以分析与响应变量的关系, 提高模型的解释能力. ...
Flexible modelling of random effects in linear mixed model-a bayesian approach
1
2008
... 在高维模型的变量选择问题中, 高维变量间通常具有很强的相关性, 如同一行业的股票往往表现出显著的相关收益; 基因表达经常受到细胞因子的刺激或受到生物过程的调控等. 若忽视变量间的强相关性, 则会使得高维统计推断方法产生较大的系统性偏差而降低效率. 一般的线性回归模型已不足以解决这类问题, 但是引入随机效应可以有效克服该模型的缺陷, 提高模型的预测精度和建模的灵活性. 因此, 研究高维随机效应线性回归模型[2 ] 至关重要. ...
Predicting the clinical status of human breast cancer by using gene expression profiles
1
2001
... 当前人们普遍利用正则化方法产生稀疏解以实现变量选择的目的. 而是否具有渐近性质是用来判断正则化方法优劣的重要指标, 该性质刻画了当主体数量趋于无穷大时, 其解所具有的一致性和Oracle性质. 在实践中, 人们发现这些具有强相关性的高维预测变量间具有自发的分组结构, 很多学者[3 ] 利用这一特性合并这些有用的信息, 简化模型以改进统计建模和推断. 如Diaz-Uriarte等(2003)利用主成分分析构建寻找一组高度相关的基因. Hastie等(2003)使用有监督的学习方法选择由层次化学聚类发现的预测基因组. 故分组效应[4 ] 对于高维随机效应线性回归模型中的变量选择问题是必要的. ...
Regularization and variable selection via the elastic net
1
2005
... 当前人们普遍利用正则化方法产生稀疏解以实现变量选择的目的. 而是否具有渐近性质是用来判断正则化方法优劣的重要指标, 该性质刻画了当主体数量趋于无穷大时, 其解所具有的一致性和Oracle性质. 在实践中, 人们发现这些具有强相关性的高维预测变量间具有自发的分组结构, 很多学者[3 ] 利用这一特性合并这些有用的信息, 简化模型以改进统计建模和推断. 如Diaz-Uriarte等(2003)利用主成分分析构建寻找一组高度相关的基因. Hastie等(2003)使用有监督的学习方法选择由层次化学聚类发现的预测基因组. 故分组效应[4 ] 对于高维随机效应线性回归模型中的变量选择问题是必要的. ...
Ridge regression: Biased estimation for nonorthogonal problems
1
2000
... 下面是几种典型且应用广泛的正则化方法.$\!\!$ 1970 年,$\!\!$ [5 ] 提出L$_2$ $_2$ $\!\!$ 1996 年, Tibshirani[6 ] 提出Lasso惩罚方法, 其基本思想是用L$_1$ $_2$ [7 ] 提出了一种典型的非凸正则化模型SCAD惩罚法, 该方法能产生稀疏解, 具有渐近性质但不具备分组效应.$\!\!$ 2005 年, Zou和Hastie[8 ] 充分结合了L$_1$ $_2$ $_1$ $_2$ $\!\!$ 2010 年, Zeng等[9 ] 受到弹性网的启发, 通过将SCAD函数与L$_2$ $_2$ $_2$
Regression shrinkage and selection via the lasso: a retrospective
1
2011
... 下面是几种典型且应用广泛的正则化方法.$\!\!$ 1970 年,$\!\!$ [5 ] 提出L$_2$ $_2$ $\!\!$ 1996 年, Tibshirani[6 ] 提出Lasso惩罚方法, 其基本思想是用L$_1$ $_2$ [7 ] 提出了一种典型的非凸正则化模型SCAD惩罚法, 该方法能产生稀疏解, 具有渐近性质但不具备分组效应.$\!\!$ 2005 年, Zou和Hastie[8 ] 充分结合了L$_1$ $_2$ $_1$ $_2$ $\!\!$ 2010 年, Zeng等[9 ] 受到弹性网的启发, 通过将SCAD函数与L$_2$ $_2$ $_2$
Variable selection via nonconcave penalized likelihood and its oracle properties
2
2001
... 下面是几种典型且应用广泛的正则化方法.$\!\!$ 1970 年,$\!\!$ [5 ] 提出L$_2$ $_2$ $\!\!$ 1996 年, Tibshirani[6 ] 提出Lasso惩罚方法, 其基本思想是用L$_1$ $_2$ [7 ] 提出了一种典型的非凸正则化模型SCAD惩罚法, 该方法能产生稀疏解, 具有渐近性质但不具备分组效应.$\!\!$ 2005 年, Zou和Hastie[8 ] 充分结合了L$_1$ $_2$ $_1$ $_2$ $\!\!$ 2010 年, Zeng等[9 ] 受到弹性网的启发, 通过将SCAD函数与L$_2$ $_2$ $_2$
... 其中 ${\alpha _{ij}}\sim N(0,0.01), {\rm{ }}i = 1,2,\cdots,15, {\rm{ }}j{\rm{ = 1}}$ . 在仿真实验中,令随机误差 ${\varepsilon _{ij}}\sim N(0,1)$ $\sigma$ $D = diag(1,1,1,1,0)$ $(\lambda_1,\lambda_2,\lambda_3)$ $a$ 7 ]). 由四种不同惩罚方法得到的分组效应结果见表5 , 其中 ${X_i} = {x_{ij}}$ $\beta$ . 下面将根据表5 给出如下模拟结果分析 ...
Regularization and variable selection via the elastic net. Journal of the Royal Statistical Society, Series B
1
2005
... 下面是几种典型且应用广泛的正则化方法.$\!\!$ 1970 年,$\!\!$ [5 ] 提出L$_2$ $_2$ $\!\!$ 1996 年, Tibshirani[6 ] 提出Lasso惩罚方法, 其基本思想是用L$_1$ $_2$ [7 ] 提出了一种典型的非凸正则化模型SCAD惩罚法, 该方法能产生稀疏解, 具有渐近性质但不具备分组效应.$\!\!$ 2005 年, Zou和Hastie[8 ] 充分结合了L$_1$ $_2$ $_1$ $_2$ $\!\!$ 2010 年, Zeng等[9 ] 受到弹性网的启发, 通过将SCAD函数与L$_2$ $_2$ $_2$
Group variable selection via SCAD_L$_2$
5
2014
... 下面是几种典型且应用广泛的正则化方法.$\!\!$ 1970 年,$\!\!$ [5 ] 提出L$_2$ $_2$ $\!\!$ 1996 年, Tibshirani[6 ] 提出Lasso惩罚方法, 其基本思想是用L$_1$ $_2$ [7 ] 提出了一种典型的非凸正则化模型SCAD惩罚法, 该方法能产生稀疏解, 具有渐近性质但不具备分组效应.$\!\!$ 2005 年, Zou和Hastie[8 ] 充分结合了L$_1$ $_2$ $_1$ $_2$ $\!\!$ 2010 年, Zeng等[9 ] 受到弹性网的启发, 通过将SCAD函数与L$_2$ $_2$ $_2$
... 针对高维随机效应线性回归模型, 如何同时选择固定效应和随机效应是解决上述问题的关键. 很多学者提出了一些变量选择的方法, 如2011年, Joseph等[10 ] 提出了基于SCAD和自适应Lasso的混合惩罚方法以同时选择高维随机效应线性回归模型中的固定效应和随机效应, 并证明了该方法具有渐近性质. 虽然他们通过数值实验发现该方法减小了过拟合问题, 但其在处理相关性较大的数据集上有所欠缺, 不具有分组效应.$\!\!$ 2012 年, Zeng等[9 ] 提出将SCAD_L$_2$ $a_i=0$ $\!\!$ 2021 年, 有学者[11 ] 提出了双SCAD分位回归方法, 但该方法也不具有分组效应. 本文改进了现有的基于双惩罚思想的变量选择方法, 综合考虑上述不同惩罚函数的性质, 提出了基于SCAD_L$_2$ $_2$
... 注 2.1 这里对$\hat\beta(n)$ $[9 ]$ $\hat\alpha(n)$
... 注 2.2 对固定效应中$\hat\beta(n)$ $[9 ]$ $\hat\alpha(n)$
... 定理 2.3 [9 ] 记 $P_{{\lambda _1},{\lambda _2},{\lambda _3}}\left( {\theta,{\alpha _j}} \right) = P_{\lambda _1}\left( \theta \right) + {\lambda _2}{\theta ^2} + P_{\lambda _3}\left( {{\alpha _j}} \right).$ ${\theta _1}$ ${\theta _2}$ ${\theta _1} \cdot {\theta _2} > 0,$ ${\lambda _2} > 1/2\left( {a - 1} \right)$
Fixed and random effects selection in mixed effects models
1
2011
... 针对高维随机效应线性回归模型, 如何同时选择固定效应和随机效应是解决上述问题的关键. 很多学者提出了一些变量选择的方法, 如2011年, Joseph等[10 ] 提出了基于SCAD和自适应Lasso的混合惩罚方法以同时选择高维随机效应线性回归模型中的固定效应和随机效应, 并证明了该方法具有渐近性质. 虽然他们通过数值实验发现该方法减小了过拟合问题, 但其在处理相关性较大的数据集上有所欠缺, 不具有分组效应.$\!\!$ 2012 年, Zeng等[9 ] 提出将SCAD_L$_2$ $a_i=0$ $\!\!$ 2021 年, 有学者[11 ] 提出了双SCAD分位回归方法, 但该方法也不具有分组效应. 本文改进了现有的基于双惩罚思想的变量选择方法, 综合考虑上述不同惩罚函数的性质, 提出了基于SCAD_L$_2$ $_2$
基于双SCAD惩罚的随机效应分位回归模型
2
2021
... 针对高维随机效应线性回归模型, 如何同时选择固定效应和随机效应是解决上述问题的关键. 很多学者提出了一些变量选择的方法, 如2011年, Joseph等[10 ] 提出了基于SCAD和自适应Lasso的混合惩罚方法以同时选择高维随机效应线性回归模型中的固定效应和随机效应, 并证明了该方法具有渐近性质. 虽然他们通过数值实验发现该方法减小了过拟合问题, 但其在处理相关性较大的数据集上有所欠缺, 不具有分组效应.$\!\!$ 2012 年, Zeng等[9 ] 提出将SCAD_L$_2$ $a_i=0$ $\!\!$ 2021 年, 有学者[11 ] 提出了双SCAD分位回归方法, 但该方法也不具有分组效应. 本文改进了现有的基于双惩罚思想的变量选择方法, 综合考虑上述不同惩罚函数的性质, 提出了基于SCAD_L$_2$ $_2$
... 这里协方差矩阵 $D_i$ [11 ] , 即依次增加了随机效应对模型(4.1)的干扰程度, 所得实验结果均为经过 100 次测试后得到的平均值, 如下所示. ...
基于双SCAD惩罚的随机效应分位回归模型
2
2021
... 针对高维随机效应线性回归模型, 如何同时选择固定效应和随机效应是解决上述问题的关键. 很多学者提出了一些变量选择的方法, 如2011年, Joseph等[10 ] 提出了基于SCAD和自适应Lasso的混合惩罚方法以同时选择高维随机效应线性回归模型中的固定效应和随机效应, 并证明了该方法具有渐近性质. 虽然他们通过数值实验发现该方法减小了过拟合问题, 但其在处理相关性较大的数据集上有所欠缺, 不具有分组效应.$\!\!$ 2012 年, Zeng等[9 ] 提出将SCAD_L$_2$ $a_i=0$ $\!\!$ 2021 年, 有学者[11 ] 提出了双SCAD分位回归方法, 但该方法也不具有分组效应. 本文改进了现有的基于双惩罚思想的变量选择方法, 综合考虑上述不同惩罚函数的性质, 提出了基于SCAD_L$_2$ $_2$
... 这里协方差矩阵 $D_i$ [11 ] , 即依次增加了随机效应对模型(4.1)的干扰程度, 所得实验结果均为经过 100 次测试后得到的平均值, 如下所示. ...
Joint variable selection for fixed and random effects in linear mixed-effects models
1
2010
... 本文将研究如下形式的高维随机效应线性回归模型[12 ] ...
Variable selection in linear mixed effects models
0
2012
混合效应模型的多惩罚回归过程及其算法收敛性研究
1
2017
混合效应模型的多惩罚回归过程及其算法收敛性研究
1
2017
高维模型选择方法综述
2
2012
... 为方便探讨模型(2.2)的性质, 这里参考文献[15 ]将其重新表述为如下形式 ...
... 根据模型(2.2)可以看到惩罚函数有三个调优参数 $\lambda_1 $ $\lambda_2 $ $\lambda_3 $ . 综合考虑不同参数选取原则的优劣性, 本文采用广义交叉验证法[15 ] (Generalized Cross Validation, GCV) 确定它们的取值. 具体流程为: 为待选参数设置一个三维网格, 其中令 $\lambda_1 $ $\lambda_3 $ $(0.01,10];$ $ \{0.001, 0.01, 0.1, 1, 10\}$ $\lambda_2 $
高维模型选择方法综述
2
2012
... 为方便探讨模型(2.2)的性质, 这里参考文献[15 ]将其重新表述为如下形式 ...
... 根据模型(2.2)可以看到惩罚函数有三个调优参数 $\lambda_1 $ $\lambda_2 $ $\lambda_3 $ . 综合考虑不同参数选取原则的优劣性, 本文采用广义交叉验证法[15 ] (Generalized Cross Validation, GCV) 确定它们的取值. 具体流程为: 为待选参数设置一个三维网格, 其中令 $\lambda_1 $ $\lambda_3 $ $(0.01,10];$ $ \{0.001, 0.01, 0.1, 1, 10\}$ $\lambda_2 $
Variable selection in quantile regression
1
2009
... 另外, 本文采用两个常用指标$F1$ $F2$ [16 ] 分别如下 ...
Adaptive elastic net for group testing
1
2019
... 下面将考虑在更高维数的稀疏模型下比较四种不同惩罚方法的分组效果, 这里根据模型 (4.1)生成数据. 为使分组效应[17 ] 在实验中有更明显的结果, 这里需要重新确定各变量的取值, 取 $\beta = (\underbrace {3,\cdots,3}_{15},\underbrace {0,\cdots,0}_{25})$ $k=40$ $ j=1$ $X = {\left( {{x_{ij}}} \right)_{{\rm{40}} \times 1}}$
A proactive intelligent decision support system for predicting the popularity of online news
3
2015
... 本节将通过实例验证该混合惩罚方法的统计效果. 本文将混合惩罚方法应用于在线新闻流行度数据集[18 ] 研究中, 该数据集总结了一组关于在两个阶段发布的全球之声文章的异构特性, 其研究目的在于使得所发布的文章在社交网络中获得更多的人气. ...
... 本文借鉴了Fernandes[18 ] 所提出的方法以判断文章是否受欢迎, 这里采用Scikit学习库对预测模型进行拟合, 首先假设一个二元分类任务, 如果其中一篇文章的分享数高于一个固定的决策阈值(这里选用1000), 则认为其是“受欢迎的”, 否则认为是“不受欢迎的”. 对于预测实验, Fernandes在文献[18 ]中采用了滚动窗口方案, 即取训练窗口大小为10000进行29次迭代, 每次迭代进行1000个样本的预测, 并据此测试了五种分类模型. 结果表明, 随机森林(RF)模型在AUC度量方面的表现最佳, 得到的最佳结果(AUC=0.73)比随机分类器高23%, 达到了较好的辨别水平, 是一个良好的分类器. 本文据此对上述四种不同的分类方法做了相似的实验, 结果表明, 该混合惩罚方法在AUC度量方面的表现最佳, 达到72.8%, 与RF模型的分类水平相近, 表明了混合惩罚在该阈值下同样有较好的分类效果. ...
... 所提出的方法以判断文章是否受欢迎, 这里采用Scikit学习库对预测模型进行拟合, 首先假设一个二元分类任务, 如果其中一篇文章的分享数高于一个固定的决策阈值(这里选用1000), 则认为其是“受欢迎的”, 否则认为是“不受欢迎的”. 对于预测实验, Fernandes在文献[18 ]中采用了滚动窗口方案, 即取训练窗口大小为10000进行29次迭代, 每次迭代进行1000个样本的预测, 并据此测试了五种分类模型. 结果表明, 随机森林(RF)模型在AUC度量方面的表现最佳, 得到的最佳结果(AUC=0.73)比随机分类器高23%, 达到了较好的辨别水平, 是一个良好的分类器. 本文据此对上述四种不同的分类方法做了相似的实验, 结果表明, 该混合惩罚方法在AUC度量方面的表现最佳, 达到72.8%, 与RF模型的分类水平相近, 表明了混合惩罚在该阈值下同样有较好的分类效果. ...
Unbiasedness of two-stage estimation and prediction procedures for mixed linear models
0
1981
