一类修正的非单调谱共轭梯度法及其在非负矩阵分解中的应用
A Class of Modified Non-Monotonic Spectral Conjugate Gradient Method and Applications to Non-Negative Matrix Factorization
通讯作者:
收稿日期: 2016-10-24
基金资助: |
|
Received: 2016-10-24
Fund supported: |
|
谱共轭梯度算法是一类解决无约束优化问题的有效方法,它以共轭梯度法为基础,结合谱方法,保持了两种方法的计算优点.该文提出了一类修正的非单调谱共轭梯度算法,在满足一定的假设下,证明了算法的收敛性.此外,该文将所提出的算法应用于非负矩阵分解中,数值实验表明算法的效果是值得肯定的.
关键词:
Spectral conjugate gradient algorithm is an effective method to solve unconstrained optimization problems. It is based on the conjugate gradient method and combines the spectral method to maintain the advantages of the two methods. In this paper, we propose a class of modified non-monotonic spectral conjugate gradient algorithm, under certain assumptions, the convergence of the algorithm is proved. In addition, we applied the algorithm to the nonnegative matrix factorization, and the numerical results show that the algorithm is effective.
Keywords:
本文引用格式
李向利, 师娟娟, 董晓亮.
Li Xiangli, Shi Juanjuan, Dong Xiaoliang.
1 前言
考虑如下无约束优化问题
其中
其中
给定参数
在集合
其中
在文献[10]中,胡将谱方法和共轭梯度法相结合,提出了一种新的非单调谱共轭梯度法,其搜索方向为
其中
给定参数
在集合
其中
其中
众所周知,线搜索技术需要选取合适的初始步长.初始步长的选取如果太大,则需要调用几个评估函数,如果太小,相应的算法效率就会降低,类似于文献[3]中近似的Lipschitz常数的修正这一思想,胡[10]中提出了一种新的非单调线搜索技术,并且在引理3.2中,证明了
2 两种修正的非单调谱共轭梯度法
根据以上分析,我们首先给出
其中
在本文引理3.1中证明了
在集合
算法1 (非单调谱共轭梯度法算法A)
步0 给定参数
步1 如果
步2 由
(1.5)和(1.6)式计算
步3 在(2.2)式
步4 令
除了上述
同样在集合
算法2 (非单调谱共轭梯度法算法B)
步0 给定参数
步1 如果
步2 由(1.4), (1.5)和(1.6)式计算
步3 在(2.4)式
步4 令
注2.1 控制非单调性程度的参数
3 收敛性分析
本节中我们研究上述两个算法的全局收敛性,首先给出如下假设.
假设1 水平集
假设2 在
接下来类似于文献[10]的引理3.5,我们给出如下引理.
引理3.1[10] 假设
引理3.2 设
成立.其中
证 根据
即证明了(2.1)式中
当
当
其中
令
当
当
当
当
上述不等式中
引理3.3 设
成立,其中
证 当
其中
其余全局收敛性的证明与文献[10]类似.
引理3.4[10] 设
(1)
(2)
引理3.5[10] 设
引理3.6[10] 设
定理3.1[10] 设
4 非负矩阵分解
其中
其中矩阵W固定;
其中矩阵H固定.
一般我们采用投影法来保证矩阵的非负性,根据KKT条件,
这里"
其中
5 数值实验
本部分我们研究所提出算法的数值效果.本文中所有算法都是在配置为Windows 8.1操作系统的个人计算机上进行的, CPU频率为1.9GHz,内存为1GB,运行环境为MATLAB7.10.我们将Shi[3]的算法记为ncg,参数取值如下
本文算法1和算法2的参数取值如下
表 5.1 ncg与算法1、算法2比较数据
算法 | fun | opt | time | |
(50, 50, 2) | ncg | 6.660e-003 | 6.756e-001 | 6.578 |
算法1 | 8.426e-001 | 8.636e-001 | 1.594 | |
算法2 | 3.741e+000 | 6.857e-001 | 1.297 | |
(50, 50, 4) | ncg | 6.883e-002 | 2.564e+000 | 108.016 |
算法1 | 1.954e+000 | 1.015e+001 | 37.969 | |
算法2 | 5.520e-002 | 2.840e+000 | 38.969 | |
(100, 50, 4) | ncg | 5.817e-002 | 2.260e+000 | 57.031 |
算法1 | 1.708e+000 | 1.587e+001 | 48.141 | |
算法2 | 9.582e-006 | 2.010e-002 | 20.609 | |
(100, 50, 5) | ncg | 8.217e-004 | 3.638e-001 | 190.438 |
算法1 | 7.022e-001 | 7.183e+000 | 30.547 | |
算法2 | 3.400e-002 | 3.823e+000 | 31.906 | |
(100, 100, 4) | ncg | 1.463e-003 | 6.988e-001 | 35.922 |
算法1 | 2.605e+000 | 2.415e+001 | 32.750 | |
算法2 | 2.297e-007 | 8.993e-003 | 3.781 | |
(100, 100, 5) | ncg | 2.323e-002 | 1.247e+001 | 300.094 |
算法1 | 2.484e+000 | 2.508e+001 | 54.281 | |
算法2 | 3.359e-002 | 5.040e+000 | 76.109 |
从表中可以看出,本文提出的两种算法迭代次数少,分解误差小,时间消耗少,具有良好的计算性能.
6 结论
参考文献
A class of gradient unconstrained minimization algorithms with adaptive stepsize
,
A modified Polak-Ribière-Polyak conjugate gradient algorithm for nonsmooth convex programs
,
Two modified nonlinear conjugate gradient methods with disturbance factors for unconstrained optimization
,
A modified Polak-Ribière-Polyak conjugate gradient algorithm for large-scale optimization problems
,
Formulation of a preconditioned algorithm for the conjugate gradient squared method in accordance with its logical structure
,
A three-terms Polak-Ribière-Polyak conjugate gradient algorithm for large-scale nonlinear equations
,
A modified Hestenes and Stiefel conjugate gradient algorithm for large-scale nonsmooth minimizations and nonlinear equations
,DOI:10.1007/s10957-015-0781-1 [本文引用: 1]
一种新的非单调谱共轭梯度算法
,DOI:10.3969/j.issn.1003-3998.2013.01.010 [本文引用: 15]
A new nonmonotone spectral conjugate gradient algorithm
DOI:10.3969/j.issn.1003-3998.2013.01.010 [本文引用: 15]
A spectral conjugate gradient method for unconstrained optimization
,
A modified spectral conjugate gradient projection algorithm for total variation image restoration
,
A nonmonotone inexact Newton method for unconstrained optimization
,DOI:10.1007/s11590-015-0976-2 [本文引用: 1]
Convergence properties of the BFGS algoritm
,DOI:10.1137/S1052623401383455 [本文引用: 1]
A new regularized quasi-Newton algorithm for unconstrained optimization
,
非光滑凸规划不可行拟牛顿束方法的收敛性分析
,
Convergence analysis of an infeasible quasi-Newton bundle method for nonsmooth convex programming
The conjugate gradient method in extremal problems
,DOI:10.1016/0041-5553(69)90035-4 [本文引用: 1]
Efficient generalized conjugate gradient algorithms. Ⅰ
,DOI:10.1007/BF00940464 [本文引用: 1]
Methods of conjugate gradients for solving linear systems
,DOI:10.6028/jres.049.044 [本文引用: 1]
一类非单调保守BFGS算法研究
,
Investigation on a class of nonmonotone cautious BFGS algorithms
A class of nonmonotone Armijo-type line search method for unconstrained optimization
,
Learning the parts of objects by non-negative matrix factorization
,
Modified subspace Barzilai-Borwein gradient method for non-negative matrix factorization
,DOI:10.1007/s10589-012-9507-6 [本文引用: 1]
Positive matrix factorization:A non-negative factor model with optimal utilization of error estimates of data values
,
/
〈 | 〉 |