数学物理学报, 2018, 38(5): 954-962 doi:

论文

一类修正的非单调谱共轭梯度法及其在非负矩阵分解中的应用

李向利,1, 师娟娟2, 董晓亮3

A Class of Modified Non-Monotonic Spectral Conjugate Gradient Method and Applications to Non-Negative Matrix Factorization

Li Xiangli,1, Shi Juanjuan2, Dong Xiaoliang3

通讯作者: 李向利, E-mail: lixiangli@guet.edu.cn

收稿日期: 2016-10-24  

基金资助: 国家自然科学基金.  71561008
国家自然科学基金.  11601012
广西自然科学基金.  2018GXNSFAA138169
广西自动检测技术与仪器重点实验室基金.  YQ16112
广西密码学与信息安全重点实验室研究课题.  GCIS201708
宁夏自然科学基金.  NZ17103

Received: 2016-10-24  

Fund supported: the NSFC.  71561008
the NSFC.  11601012
the Guangxi Natural Science Foundation.  2018GXNSFAA138169
the Guangxi Key Laboratory of Automatic Detection Technology and Instruments.  YQ16112
the Guangxi Key Laboratory of Cryptography Security.  GCIS201708
the Natural Science Foundation of Ningxia.  NZ17103

摘要

谱共轭梯度算法是一类解决无约束优化问题的有效方法,它以共轭梯度法为基础,结合谱方法,保持了两种方法的计算优点.该文提出了一类修正的非单调谱共轭梯度算法,在满足一定的假设下,证明了算法的收敛性.此外,该文将所提出的算法应用于非负矩阵分解中,数值实验表明算法的效果是值得肯定的.

关键词: 无约束优化 ; 谱共轭梯度法 ; 非单调线搜索 ; 非负矩阵分解

Abstract

Spectral conjugate gradient algorithm is an effective method to solve unconstrained optimization problems. It is based on the conjugate gradient method and combines the spectral method to maintain the advantages of the two methods. In this paper, we propose a class of modified non-monotonic spectral conjugate gradient algorithm, under certain assumptions, the convergence of the algorithm is proved. In addition, we applied the algorithm to the nonnegative matrix factorization, and the numerical results show that the algorithm is effective.

Keywords: Unconstrained optimization ; Spectral conjugate gradient method ; Non monotone line search ; Non negative matrix factorization

PDF (404KB) 元数据 多维度评价 相关文章 导出 EndNote| Ris| Bibtex  收藏本文

本文引用格式

李向利, 师娟娟, 董晓亮. 一类修正的非单调谱共轭梯度法及其在非负矩阵分解中的应用. 数学物理学报[J], 2018, 38(5): 954-962 doi:

Li Xiangli, Shi Juanjuan, Dong Xiaoliang. A Class of Modified Non-Monotonic Spectral Conjugate Gradient Method and Applications to Non-Negative Matrix Factorization. Acta Mathematica Scientia[J], 2018, 38(5): 954-962 doi:

1 前言

考虑如下无约束优化问题

$\min f(x), x\in {\Bbb R}^n , $

其中$ f:{\Bbb R}^n \rightarrow {\Bbb R} $是连续可微函数,求解该问题的方法有:最速下降法[1-2]、共轭梯度法[1, 3-9]、谱共轭梯度法[10-12]、牛顿法[13-14]、拟牛顿法[15-17]等等.文献[3]中, Shi提出了一类新的共轭梯度法求解该无约束优化问题,该方法从初始点$ x_{0}\in {\Bbb R}^n $出发,由如下迭代过程给出近似解的序列$ \{x_{k}\} $

$x_{k+1}=x_{k}+\alpha_{k}d_{k}, k=0, 1, 2, \cdots, $

其中$ \alpha_{k} $是某种线搜索确定的搜索步长, $ d_{k} $是下式确定的搜索方向

其中$ g_{k}=\nabla f(x_{k}) $, $ \beta_{k} $是共轭参数. Shi在文献[3]中选取$ \beta_{k} $时引入混合因子$ \lambda $,将传统的PRP方法[18]和LS[19]方法相结合得到以下共轭参数

其中$ y_{k-1}=g_{k}-g_{k-1} $, $ \lambda \in [0, 1] $.并且提出一种新的非单调线搜索技术.

给定参数$ \mu \in (0, \frac{1}{2}) $, $ \rho \in (0, 1) $, $ c \in (\frac{1}{2}, 1) $.

$s_{k}=\frac{1-c}{L_{k}} \frac{(1-\lambda) \|g_{k}\|^{2}+\lambda g^{T}_{k}d_{k}}{\|d_{k}\|^{2}}, $

在集合$ \{ s_{k}, s_{k} \rho, s_{k} \rho^{2}, \cdots \} $中寻找满足以下两式的最大步长$ \alpha_{k} $,

其中$ m(k) $是由非单调Armijo线搜索定义的, $ L_{k} $是Lipschitz常数的估计值.

在文献[10]中,胡将谱方法和共轭梯度法相结合,提出了一种新的非单调谱共轭梯度法,其搜索方向为

$d_{k}=\left\{\begin{array}{ll} -g_{k}, ~~~~~~~~~~~~~~~ &k=0;\\ -\theta_{k}g_{k}+\beta_{k}d_{k-1},&k\geq1, \end{array} \right.$

其中$ \theta_{k} $是谱系数, $ \beta_{k} $是共轭参数,分别为

$\theta_{k}=1+\frac{\beta_{k}d^{T}_{k-1}g_{k}}{\| g_{k}\| ^{2}}, $

$\beta_{k}=\frac{g^{T}_{k}y_{k-1}}{(1-\lambda)\| g_{k}\| ^{2}+\lambda d^{T}_{k-1}y_{k-1}}.$

与Shi不同的是,胡[10]在选取共轭参数时,是将PRP方法和HS方法[20]相结合得到新的共轭参数$ \beta_{k} $,并且引入谱系数$ \theta_{k} $保证了该搜索方向在任何搜索条件下都是充分下降的,即$ d_{k}^{T} g_{k} = -\| g_{k}\| ^{2} $.与此同时,胡在文献[10]中提出了另一种非单调线搜索技术.

给定参数$ 0<\rho<1 $, $ C_{0}=f(x_{0}) $, $ 0<\delta<\sigma<1 $, $ 0\leq\eta_{\min}\leq\eta_{k}\leq\eta_{\max}\leq1 $, $ Q_{0}=1 $, $ c_{1}\in(0, 1) $.

$s_{k}=\frac{1-c_{1}}{L_{k}} \frac{(1-\lambda)\| g_{k}\| ^{2}+\lambda d^{T}_{k}y_{k}}{\| d_{k}\| ^{2}}, $

在集合$ \{s_{k}, s_{k}\rho, s_{k}\rho ^{2}, \cdots\} $中寻找满足以下两式的最大步长$ \alpha_{k} $,

$f(x_{k}+\alpha_{k}d_{k})\leq C_{k}+\delta \alpha_{k} g^{T}_{k} d_{k}, $

$g(x_{k}+\alpha_{k}d_{k})^{T}d_{k}\geq \sigma g^{T}_{k} d_{k}, $

其中$ C_{k+1}=(\eta_{k} Q_{k} C_{k} +f(x_{k+1}))/Q_{k+1} $, $ Q_{k+1}=\eta_{k}Q_{k}+1 $, $ L_{k} $是Lipschitz常数$ L $的估计值,并且取

$L_{k}=\max\bigg\{L_{k-1}, \frac{ | \gamma^{T}_{k-1}y_{k-1} |}{\| \gamma_{k-1}\| ^{2}}\bigg\}, $

其中$ \gamma_{k-1}=x_{k}-x_{k-1} $, $ \eta_{k} \in [ \eta_{\min}, \eta_{\max} ] $.

众所周知,线搜索技术需要选取合适的初始步长.初始步长的选取如果太大,则需要调用几个评估函数,如果太小,相应的算法效率就会降低,类似于文献[3]中近似的Lipschitz常数的修正这一思想,胡[10]中提出了一种新的非单调线搜索技术,并且在引理3.2中,证明了$ L_{k} $是有界的,所以使用该线搜索技术很容易得到合适的初始步长.胡在文献[10]中确定迭代步长$ \alpha_{k} $时, $ s_{k} $的表达式是类似于Shi[3]选取的.对比(1.3)式与(1.7)式,不难发现,胡将(1.3)式分子中$ d_{k} $修正为$ y_{k} $,由于$ y_{k}=g_{k+1}-g_{k} $,即在确定第$ k $步迭代步长时,需要知道第$ k+1 $步的梯度,然而第$ k+1 $步的梯度在第$ k $步是不可知的,所以$ s_{k} $的选取不合理,胡[10]所提出的新的非单调线搜索技术并不能得到合理的迭代步长.基于以上问题,本文就参数$ s_{k} $给出修正,提出如下两种修正的非单调谱共轭梯度法,给出算法1、算法2及其收敛性证明,最后将这两种算法应用于非负矩阵分解中,并进行数值实验.

2 两种修正的非单调谱共轭梯度法

根据以上分析,我们首先给出$ s_{k} $的第一种修正,将(1.7)式中的第$ k $步的梯度$ g_{k} $、下降方向$ d_{k} $以及$ y_{k} $改为第$ k-1 $步时对应的参数,这样在确定搜索步长时,保证了所有参数都是可知的,令

$s^{\prime}_{k}=\frac{1-c_{1}}{L_{k}}\frac{(1-\lambda)\| g_{k-1}\| ^{2}+\lambda d^{T}_{k-1}y_{k-1}}{\| d_{k-1}\| ^{2}}, $

其中$ L_{k} $由(1.10)式确定.

在本文引理3.1中证明了$ s^{\prime}_{k} $是大于零的.为了防止迭代步长大于1,取$ s_{k} $

$s_{k}=\min\{s^{\prime}_{k}, 1\}, $

在集合$ \{s_{k}, s_{k}\rho, s_{k}\rho ^{2}, \cdots \} $中寻找满足(1.8)式和(1.9)式的最大步长$ \alpha_{k} $为迭代步长.在此基础上,为了保证算法的收敛性,本文采用了重启技术,当迭代步数是$ k_{0} $$k_{0}$为正整数)的倍数时,我们的算法将重新开始,即在搜索过程中每个第$ k_{0} $步时,重新确定搜索方向为$ -g_{k} $,这样保证了引理3.1是成立的.根据以上搜索步长和搜索方向的确定方法,提出如下非单调谱共轭梯度法算法.

算法1 (非单调谱共轭梯度法算法A)

步0  给定参数$ 0\leq \eta_{\min} \leq \eta_{k} \leq \eta_{\max} \leq 1 $, $ 0<\rho<1 $, $ c_{1}\in (0, 1) $, $ 0<\delta<\sigma<1 $, $ k_{0} \in N_{+}$,选择初始点$ x_{0} \in {\Bbb R}^n $,置$ k:=0 $.

步1  如果$ \| g_{k}\| \leq\varepsilon $,则算法终止.否则转步2.

步2  由

$d_{k}=\left\{\begin{array}{rl} -g_{k}, ~~~~~~~~~~~~~~ &k=0 ;\\ -g_{k}, ~~~~~~~~~~~~~~ &k\geq 1, \mod(k, k_{0})=0 ;\\ -\theta_{k}g_{k}+\beta_{k}d_{k-1},&k \geq 1, \mod(k, k_{0})\neq0 , \end{array} \right.$

(1.5)和(1.6)式计算$ d_{k} $.

步3  在(2.2)式$ s_{k} $的选取下,由(1.8)和(1.9)式确定$ \alpha_{k} $.

步4  令$ x_{k+1}=x_{k}+\alpha_{k}d_{k} $,置$ k:=k+1 $,返回步1.

除了上述$ s_{k} $的选取方法,我们给出第二种修正,取

$s_{k}=\frac{\| g_{k}\| ^{2}}{\| d_{k}\| ^{2}}, $

同样在集合$ \{s_{k}, s_{k}\rho, s_{k}\rho^{2}, \cdots \} $中寻找满足(1.8)式和(1.9)式的最大步长$ \alpha_{k} $,搜索方向$ d_{k} $用(1.4)式确定.依据以上搜索步长和搜索方向的确定方法,我们提出如下非单调谱共轭梯度法算法.

算法2 (非单调谱共轭梯度法算法B)

步0  给定参数$ 0\leq \eta_{\min} \leq \eta_{k} \leq \eta_{\max} \leq 1$, $ \rho\in(0, 1) $, $ \delta \in (0, 1) $,选择初始点$ x_{0} \in {\Bbb R}^n $,置$ k:=0 $.

步1  如果$ \| g_{k}\| \leq\varepsilon $,则算法终止.否则转步2.

步2  由(1.4), (1.5)和(1.6)式计算$ d_{k} $.

步3  在(2.4)式$ s_{k} $的选取下,由(1.8)和(1.9)式确定$ \alpha_{k} $.

步4  令$ x_{k+1}=x_{k}+\alpha_{k}d_{k} $,置$ k:=k+1 $,返回步1.

注2.1  控制非单调性程度的参数$ \eta_{k} $是区间$[0, 1]$内的固定值,文献[21]给出了$ \eta_{k} $的具体选取规则

其中$ \epsilon > 0 $, $ \nu > 0 $为常数,并且在其性质2.1[21]中证明了$ \eta_{k} \in [0, 1] $.文献[22]给出了$ \eta_{k} $的另一种选取规则,如下

其中$ \eta_{0}\in[0, 1] $为常数.上述两个算法在实际执行过程中,可以令$ \eta_{k} $为一常数,也可以采用文献[21-22]中提出的选取方法.

3 收敛性分析

本节中我们研究上述两个算法的全局收敛性,首先给出如下假设.

假设1  水平集$ \Omega=\{x\in {\Bbb R}^n |f(x) \leq f(x_{0})\} $有界.

假设2  在$ \Omega $的某个领域N内, $ f $连续可微且它的梯度Lipschitz连续,即存在常量$ L>0 $,使得

$\| g(x)-g(y)\| \leq L\| x-y\| , \forall x, y \in N.$

接下来类似于文献[10]的引理3.5,我们给出如下引理.

引理3.1[10]  假设$ d_{k} $由(1.4)-(1.6)式或(2.3), (1.5), (1.6)式确定.则对任何$ k\geq 0 $成立

引理3.2  设$ \{x_{k}\} $是由算法$1$产生的迭代点列,当假设$1$和假设$2$成立时,必有

$\| d_{k}\| \leq c_{2} \| g_{k}\| , \forall k$

成立.其中$ c_{2} = \max \{ 1+c_{3}, 1+c_{3}(1+c_{3})^{2}, 1+c_{3}(1+c_{3}(1+c_{3})^{2})^{2}, \cdots, 1+c_{3}(1+c_{3}(1+c_{3}(1+\cdots)^{2})^{2})^{2} \} $, $ c_{3}=\frac{2L}{1-\lambda \sigma } $.

  根据$ d^{T}_{k} g_{k} = -\| g_{k} \|^{2} $,有

即证明了(2.1)式中$ s'_{k} $是大于零的,那么$ s_{k}\in (0, 1] $.在算法1中,我们采用了$ k_{0} $步重开始技术($ k_{0} $为正整数).

$ k=0 $或者$ k\geq 1$$\mod(k, k_{0})=0 $时,有$\| d_{k}\| =\| g_{k}\| \leq c_{2}\| g_{k}\| $成立.

$ k\geq 1 $$ \mod{(k, k_{0})} \neq 0 $时,由非单调线搜索技术可知$ \alpha_{k-1}\leq s_{k-1} $,有

其中$ c_{3}=\frac{2L}{1-\lambda \sigma} $,不难得出$ c_{3}>0 $.

$ \mod(k, k_{0})=k_{1} $,

$ k_{1}=1 $时,有$ \| d_{k}\| \leq \| g_{k}\| (1+c_{3})$, $ c_{3} $的最高次为1;

$ k_{1}=2 $时,有$ \| d_{k}\| \leq \| g_{k}\| (1+c_{3}(1+c_{3})^{2}) $, $ c_{3} $的最高次为3;

$ k_{1}=3 $时,有$ \| d_{k}\| \leq \| g_{k}\| (1+c_{3}(1+c_{3}(1+c_{3})^{2})^{2}) $, $ c_{3} $的最高次为7, $\cdots$;

$ k_{1}=k_{0}-1 $时,有$ \| d_{k}\| \leq \| g_{k}\| (1+c_{3}(1+c_{3}(1+c_{3}(1+\cdots)^{2})^{2})^{2}) $, $ c_{3} $的最高次为$ 2^{k_{0}-1}-1 $.

上述不等式中$ c_{3} $的最高次和$ k_{0} $有关,令$ c_{2}=\max\{1+c_{3}, 1+c_{3}(1+c_{3})^{2}, 1+c_{3}(1+c_{3}(1+c_{3})^{2})^{2}, \cdots, 1+c_{3}(1+c_{3}(1+c_{3}(1+\cdots)^{2})^{2})^{2})\}$, $ k_{0} $取某一正整数时, $ c_{2} $的取值是存在的.则有$ \| d_{k}\| \leq c_{2}\| g_{k}\| $成立.

引理3.3  设$ \{x_{k}\} $是由算法$2$产生的迭代点列,当假设$1$和假设$2$成立时,必有

$\| d_{k}\| \leq c_{4} \| g_{k}\| , \forall k$

成立,其中$ c_{4}=1+c_{3} $, $ c_{3}=\frac{2L}{1-\lambda \sigma } $.

  当$ k=0 $时,有$ \| d_{k}\| =\| g_{k}\| \leq c_{4} \| g_{k}\| $成立.当$ k\geq 1 $时,由非单调线搜索技术可知$ \alpha_{k-1}\leq s_{k-1} $,并且$ d^{T}_{k}g_{k}=-\| g_{k}\| ^{2} $,有

其中$ c_{4}=1+c_{3} $, $ c_{3}=\frac{2L}{1-\lambda \sigma } $,则$ \| d_{k}\| \leq c_{4}\| g_{k}\| $成立.

其余全局收敛性的证明与文献[10]类似.

引理3.4[10]  设$ \{x_{k}\} $是由算法$1$和算法$2$产生的迭代点列.则

(1) $f_{k} \leq C_{k}, $

(2) $Q_{k+1} \leq k+2 , ~\forall k. $

引理3.5[10]  设$ \{x_{k}\} $是由算法$1$和算法$2$产生的迭代点列.如果假设$ 1 $和假设$ 2 $成立,则有$ \alpha_{k} \geq 0. $

引理3.6[10]  设$ \{x_{k}\} $是由算法$1$和算法$2$产生的迭代点列.如果假设$ 1 $和假设$ 2 $成立,则对任意的$ k $,如下不等式$ f_{k+1} \leq C_{k} - t \|g_{k}\|^{2} $成立,其中$ t = \frac{ (1-\sigma)\delta }{Lc_{2}^{2}} $$ t = \frac{ (1-\sigma)\delta }{Lc_{4}^{2}} $为常数.

定理3.1[10]  设$ \{x_{k}\} $是由算法$1$和算法$2$产生的迭代点列.如果假设$ 1 $和假设$ 2 $成立,则$ \lim \limits_{k \rightarrow \infty} \inf \|g_{k}\| = 0, $更进一步,如果$ \eta_{\max} < 1 $,则$ \lim \limits_{k \rightarrow \infty} \|g_{k}\| = 0. $

4 非负矩阵分解

我们将以上两个算法运用到非负矩阵分解(NMF)[23-24]中.首先介绍一下NMF问题:一个非负矩阵$ V $可以分解为两个维数较低的非负矩阵$ W $$ H $,即

$V \approx WH, $

其中$ V\in {\Bbb R}^{m \times n}$, $ W\in {\Bbb R}^{m\times r} $是基矩阵, $ H\in {\Bbb R}^{r\times n} $是权重矩阵.我们可以将NMF问题转化为以下欧几里得距离模型[23]

$\min \limits_{W, H}~~F(W, H)=\frac{1}{2}\| V-WH\| ^{2}_{F}, ~~{\rm s.t.}~~W, H\geq 0, $

其中$ \| \cdot \| _{F} $是对应矩阵的Frobenius范数,容易看出目标函数$ F(W, H) $是非凸的.通常我们采用交替非负最小二乘法(ANLS)[25]解决该问题,目标函数$ F(W, H) $分别关于$ W $$ H $求最小值,每次迭代过程中,固定其中一个变量,对另一个变量求最小值[26],表示如下

$H^{k+1}=\arg \min \frac{1}{2} \| V-W^{k}H\| ^{2}_{F}, ~~{\rm s.t.}~~H \geq 0, $

其中矩阵W固定;

$W^{k+1}=\arg \min \frac{1}{2} \| V-WH^{k+1}\| ^{2}_{F}, ~~{\rm s.t.}~~W \geq 0, $

其中矩阵H固定.

一般我们采用投影法来保证矩阵的非负性,根据KKT条件, $ (W, H) $是问题(4.2)的稳定点当且仅当$ (W, H) $满足

$W \geq 0, ~~~~ H \geq 0, $

$\bigtriangledown_{W} F(W, H) > 0, ~~~~\bigtriangledown_{H} F(W, H) > 0, $

$W \cdot \bigtriangledown_{W} F(W, H) = 0, ~~~~ H \cdot \bigtriangledown_{H} F(W, H) = 0, $

这里"$ \cdot $"表示点乘,显然互补系统(4.5)(4.6)和(4.7)等价于下面的形式

其中$ [x]_{+}=\max\{ x, 0 \} $是一个正交投影算子.

5 数值实验

本部分我们研究所提出算法的数值效果.本文中所有算法都是在配置为Windows 8.1操作系统的个人计算机上进行的, CPU频率为1.9GHz,内存为1GB,运行环境为MATLAB7.10.我们将Shi[3]的算法记为ncg,参数取值如下

本文算法1和算法2的参数取值如下

我们将本文给出的两个算法与Shi[3]的算法分别运用于非负矩阵分解问题,并作对比.使用随机的初始点,分别测试它们的函数值(fun)、最优解(opt)、CPU时间(time),实验数据如表 5.1所示.

表 5.1   ncg与算法1、算法2比较数据

$(m, n, r)$算法funopttime
(50, 50, 2)ncg6.660e-0036.756e-0016.578
算法18.426e-0018.636e-0011.594
算法23.741e+0006.857e-0011.297
(50, 50, 4)ncg6.883e-0022.564e+000108.016
算法11.954e+0001.015e+00137.969
算法25.520e-0022.840e+00038.969
(100, 50, 4)ncg5.817e-0022.260e+00057.031
算法11.708e+0001.587e+00148.141
算法29.582e-0062.010e-00220.609
(100, 50, 5)ncg8.217e-0043.638e-001190.438
算法17.022e-0017.183e+00030.547
算法23.400e-0023.823e+00031.906
(100, 100, 4)ncg1.463e-0036.988e-00135.922
算法12.605e+0002.415e+00132.750
算法22.297e-0078.993e-0033.781
(100, 100, 5)ncg2.323e-0021.247e+001300.094
算法12.484e+0002.508e+00154.281
算法23.359e-0025.040e+00076.109

新窗口打开| 下载CSV


从表中可以看出,本文提出的两种算法迭代次数少,分解误差小,时间消耗少,具有良好的计算性能.

6 结论

本文提出一类修正的非单调谱共轭梯度方法,并将其运用在非负矩阵分解中.一方面,我们说明了胡[10]在选取参数时的错误原因,并且做出修正,在满足基本假设的条件下,证明了该方法的全局收敛性.另一方面,我们选取新的参数,并且给出一类新的非单调谱共轭梯度法,同样在满足基本假设的条件下,证明了该方法的全局收敛性.最后将两种算法应用在非负矩阵分解中,与文献[3]作对比,数值实验表明算法的效果是值得肯定的.

参考文献

Sun W , Yuan Y X . Optimization Theory and Methods. New York: Springer, 2006: 175- 200

[本文引用: 2]

Vrahatis M N , Androulakis G S , Lambrinos J N , et al.

A class of gradient unconstrained minimization algorithms with adaptive stepsize

Journal of Computational and Applied Mathematics, 2000, 114 (2): 367- 386

[本文引用: 1]

Shi Z J , Guo J .

A new family of conjugate gradient methods

Journal of Computational & Applied Mathematics, 2009, 224 (1): 444- 457

URL     [本文引用: 8]

Yuan G , Wei Z , Li G .

A modified Polak-Ribière-Polyak conjugate gradient algorithm for nonsmooth convex programs

Journal of Computational and Applied Mathematics, 2014, 255: 86- 96

DOI:10.1016/j.cam.2013.04.032     

Jiang X Z , Jian J B .

Two modified nonlinear conjugate gradient methods with disturbance factors for unconstrained optimization

Nonlinear Dynamics, 2014, 77 (1/2): 387- 397

URL    

Yuan G , Wei Z , Zhao Q .

A modified Polak-Ribière-Polyak conjugate gradient algorithm for large-scale optimization problems

ⅡE Transactions, 2014, 46 (4): 397- 413

URL    

Itoh S , Sugihara M .

Formulation of a preconditioned algorithm for the conjugate gradient squared method in accordance with its logical structure

Applied Mathematics, 2015, 06 (8): 1389- 1406

DOI:10.4236/am.2015.68131     

Yuan G , Zhang M .

A three-terms Polak-Ribière-Polyak conjugate gradient algorithm for large-scale nonlinear equations

Journal of Computational and Applied Mathematics, 2015, 286 (3): 186- 195

URL    

Yuan G , Meng Z , Li Y .

A modified Hestenes and Stiefel conjugate gradient algorithm for large-scale nonsmooth minimizations and nonlinear equations

Journal of Optimization Theory and Applications, 2016, 168 (1): 129- 152

DOI:10.1007/s10957-015-0781-1      [本文引用: 1]

胡朝明, 万中, 王旭.

一种新的非单调谱共轭梯度算法

数学物理学报, 2013, 33A (1): 78- 88

DOI:10.3969/j.issn.1003-3998.2013.01.010      [本文引用: 15]

Hu C M , Wan Z , Wang X .

A new nonmonotone spectral conjugate gradient algorithm

Acta Math Sci, 2013, 33A (1): 78- 88

DOI:10.3969/j.issn.1003-3998.2013.01.010      [本文引用: 15]

Chen Q , Jiang X Z .

A spectral conjugate gradient method for unconstrained optimization

Applied Mathematics and Optimization, 2001, 43 (2): 117- 128

DOI:10.1007/s00245-001-0003-0     

Zhang B , Zhu Z , Li S .

A modified spectral conjugate gradient projection algorithm for total variation image restoration

Applied Mathematics Letters, 2014, 27 (1): 26- 35

[本文引用: 1]

李董辉, 童小娇, 万中. 数值最优化算法与理论. 北京: 科学出版社, 2011: 71- 87

[本文引用: 1]

Li D H , Tong X J , Wan Z . Numerical Optimization Algorithms and Theory. Beijing: Science Press, 2011: 71- 87

[本文引用: 1]

Gao H , Zhang H B , Li Z B , et al.

A nonmonotone inexact Newton method for unconstrained optimization

Optimization Letters, 2017, 11 (5): 947- 965

DOI:10.1007/s11590-015-0976-2      [本文引用: 1]

Dai Y H .

Convergence properties of the BFGS algoritm

Siam Journal on Optimization, 2002, 13 (3): 693- 701

DOI:10.1137/S1052623401383455      [本文引用: 1]

Zhang H , Ni Q .

A new regularized quasi-Newton algorithm for unconstrained optimization

Applied Mathematics and Computation, 2015, 259: 460- 469

DOI:10.1016/j.amc.2015.02.032     

沈洁, 郭方芳, 庞丽萍.

非光滑凸规划不可行拟牛顿束方法的收敛性分析

数学进展, 2016, 46 (2): 299- 308

URL     [本文引用: 1]

Shen J , Guo F F , Pang L P .

Convergence analysis of an infeasible quasi-Newton bundle method for nonsmooth convex programming

Advances in Mathematics, 2016, 46 (2): 299- 308

URL     [本文引用: 1]

Polyak B T .

The conjugate gradient method in extremal problems

Ussr Computational Mathematics and Mathematical Physics, 1969, 9 (4): 94- 112

DOI:10.1016/0041-5553(69)90035-4      [本文引用: 1]

Cardenas S .

Efficient generalized conjugate gradient algorithms. Ⅰ

Theory Journal of Optimization Theory and Applications, 1991, 69 (1): 129- 137

DOI:10.1007/BF00940464      [本文引用: 1]

Hestenes M R , Stiefel E .

Methods of conjugate gradients for solving linear systems

Journal of Research of the National Bureau of Standards, 1952, 49 (6): 409- 436

DOI:10.6028/jres.049.044      [本文引用: 1]

万中, 冯冬冬.

一类非单调保守BFGS算法研究

计算数学, 2011, 33 (4): 387- 396

URL     [本文引用: 3]

Wan Z , Fen D D .

Investigation on a class of nonmonotone cautious BFGS algorithms

Mathematica Numerica Sinica, 2011, 33 (4): 387- 396

URL     [本文引用: 3]

Ahookhosh M , Amini K , Bahrami S .

A class of nonmonotone Armijo-type line search method for unconstrained optimization

Optimization, 2012, 61 (4): 387- 404

URL     [本文引用: 2]

Lee D D , Seung H S .

Learning the parts of objects by non-negative matrix factorization

Nature, 1999, 401: 788- 791

DOI:10.1038/44565      [本文引用: 2]

Liu H , Li X .

Modified subspace Barzilai-Borwein gradient method for non-negative matrix factorization

Computational Optimization and Applications, 2013, 55 (1): 173- 196

DOI:10.1007/s10589-012-9507-6      [本文引用: 1]

Paatero P , Tapper U .

Positive matrix factorization:A non-negative factor model with optimal utilization of error estimates of data values

Environmetrics, 1994, 5 (5): 111- 126

URL     [本文引用: 1]

Cichocki A , Zdunek R , Phan A H , et al.

Nonnegative matrix and tensor factorizations:applications to exploratory multi-way data analysis and Blind Source separation

Wiley Publishing, 2009, 25 (2): 1- 3

URL     [本文引用: 1]

/