记N,R与Rn分别表示自然数集,实数集与n 维欧氏空间, N+={x∈N:x>0}, R++={x∈R:x>0},‖⋅‖是欧氏范数,⟨⋅⟩ 是欧氏空间中两个元素的数量积,Γ={v∈Rn:‖v‖=1}, A×B为集合A 与B的笛卡尔积,Ef为函数f的上图像.
在最优化理论中,次梯度是一个基本而又重要的理论工具. 利用各种次梯度及其基本性质[1, 2, 3, 4, 5, 6, 7], 可以得到非可微最优化问题的一阶或二阶最优性条件. 在最优化理论和凸分析较早研究时, 人们利用普通方向导数(双侧方向导数)定义了凸函数在一点的次梯度与次微分的重要概念.
定义1.1[8, 9, 10, 11, 12, 13, 14] 设凸函数f:Rn→R∪{+∞} 在点x0∈M⊂Rn 的函数值有限. 向量ξ∈Rn被称为是f在x0 的次梯度,如果
其中,⟨ξ,⋅⟩ 和f′(x0,⋅)分别表示ξ 与Rn中任一向量的数量积、 f在x0沿同一方向的普通方向导数. 并称集合 ∂f(x0):={ξ∈Rn:⟨ξ,u⟩≤f′(x0,u),∀u∈Rn} 为f在点x0的次微分.
对于以上凸次梯度(凸次微分), 人们研究了它的一些基本性质与凸函数极小点存在的必要与充分条件. 后来,针对更一般的标量函数, 人们利用Dini、Clarke、M-P等方向导数,提出了更广义的次梯度(次微分): Dini、Clarke、M-P等次梯度(次微分)等[1, 2, 3, 4, 5, 6, 7],并讨论了相应的基本性质. 其实,这些定义是在一定的空间中,将上面的普通方向导数分别换成Dini、 Clarke、M-P等方向导数后所得结果. 关于一阶次微分完整、 系统的基本理论可见文献[13, 14, 15, 16, 17]. 对于二阶次微分,Georgiev给出了 C1,1 函数在一点的Clarke 型二阶次微分定义.
定义1.2[18] 设E是实Banach空间,G⊂E 是非空开集, f:G→R是C1,1 函数,x0∈G. 对每一个h1,h2∈E,称
是f在x0处沿方向h1,h2的二阶方向导数. 并称集合
为f在x0的次微分,其中每一个元素l称为f在x0 的二阶次梯度. 这里,f′(x)表示f在x的导数, L(E×E)表示E×E上的所有连续双线性泛函组成的集合.
在以上一阶凸、Dini、Clarke 和M-P次微分、二阶次微分定义形式的启发下, 我们提出基于k(k≥1)阶下、上Studniarski方向导数的k -下、 上次梯度(次微分)的概念. 而且,它在某种条件下可退化为一阶凸次梯度(次微分) (见本文p3注2.1(b)),故与Dini、Clarke和M-P次梯度(次微分)一样, 是一种广义次梯度(次微分),而且当k≥2时,还是一种高阶广义次梯度(次微分); 另外,此概念在以前研究中从未出现过,所以是一种新的广义次梯度(次微分).
本文并不专门讨论该广义次微分是否具有凸性、闭性以及单调性等基本性质, 而主要研究与Tangent锥相关的一些重要结论,利用某些性质分别导出了 约束与无约束条件下标量最优化问题关于k阶严格局部极小点与局部极小点存在的最优性条件.
定义1.3 设函数f:Rn→R,x0∈M⊂Rn. 集合M在点x0处的Tangent锥(简称T -切锥)定义为
定义1.4 在定义1.3基础上,T -切锥的正极锥定义为
定义1.5 设f:Rn→R⋃{+∞}在点x0处函数值有限, 则f 在点x0处沿方向v∈Rn 的Hadamard 方向导数及下、上 Hadamard 方向导数分别是
与
定义1.6[19] 设f:Rn→R⋃{+∞}在点x0处函数值有限, k∈N+,则f 在点x0 处沿方向v∈Rn的k阶下、上 Studniarski 方向导数定义为
定义1.7[19, 20] 设f:Rn→R,x0∈M⊂Rn, 若存在常数α>0与点x0 的某一邻域U,使得
则称x0是f(x)(x∈M)的k阶严格局部极小点. 所有这样的点组成的集合记为StrL(k,f,M)
定义1.8 设f:Rn→R,x0∈M⊂Rn, 若存在x0 的某一邻域U,使得
则称x0 是f(x)(x∈M)的局部极小点. 若M=Rn,则称x0是f (在Rn上)的局部极小点.
显然,f的下(上) Hadamard方向导数就是一阶下(上) Studniarski方向导数, f(x) (x∈M) 的k 阶严格局部极小点也是f(x) (x∈M) 的局部极小点.
本节,我们研究k -下(上)次梯度的某些基本性质, 并给出约束与无约束条件下最优化问题的k阶严格局部极小点和局部极小点存在的必要与充分条件.
定义2.1 设k∈N+, 函数f:Rn→R,x0∈Rn,ξ∈Rn,r:R++×Rn→R 满足当(t,u)∈R++×Rn收敛时(其中t→0), 有r(t,u)→0. 称ξ是f 在点x0处关于r的k - 下次梯度(简称为f 在点x0 的k - 下次梯度),如果对任一(t,u)∈R++×Rn, 有
在此定义中,如果‘‘≥"改为‘‘≤"成立,则称ξ是f在点x0的k - 上梯度. 称∂_kf(x0)={ξ∈Rn:ξ 是f 在点x0的k -下次梯度\} 为f 在x0的k - 下次微分, ¯∂kf(x0)={ξ∈Rn:ξ 是f在点x0的k -上次梯度\} 为f在x0的k - 上次微分.
注2.1 (a) 当k=1时,若r(t,u)≡0, 则k - 下(上)次梯度就是凸函数(凹函数)在点x0 处的次梯度;
(b) 当k=1时, 若此定义中的不等号为等号,则f在点x0处可微,且ξ=∇f(x0).
因此,这里的k -下(上)次梯度其实是一种广义的次梯度.
下面所有内容均假设定义2.1中的函数r已知,现在我们来讨论这种广义次梯度的一些基本性质.
定理2.1 设k∈N+,函数f:Rn→R在点x0处连续,则
(i) 如果ξ∈∂_kf(x0),那么⟨ξ,v⟩≤d_kf(x0,v),∀v∈Γ.
(ii) 如果ξ∈¯∂kf(x0), 那么⟨ξ,v⟩≥¯dkf(x0,v),∀v∈Γ.
证 (i) 设ξ∈∂_kf(x0), 则由定义2.1,对∀(t,u)∈R++×Γ,有
故
从而
即
得证.
(ii) 同理可证.
考虑约束最优化问题
其中,f:Rn→R∪{+∞},g:Rn→Rp,D⊂Rp 是一个内部非空的闭凸点锥,Q⊂Rn 是一个任意集合, S表示(sp)的可行集,点x0∈S.
在该问题中,我们总假定f在x0处连续,g在x0处Hadamard方向可微, 即g 沿任一方向v∈Rn的 Hadamard 方向导数dg(x0,v)均存在. 记 G={x∈Rn:g(x)∈−D}, C0(G,x0)={v∈Rn:dg(x0,v)∈intcone(−D−g(x0)}, C(G,x0)={v∈Rn:dg(x0,v)∈clcone(−D−g(x0))}, C(f,x0)={v∈Rn:d_rf(x0,v)≤0}, IQ(x)=0/+∞(x∈Q/∉Q)为Q 的指标函数.
文献[20,定理2.1,3.1,3.2]给出了问题(sp)k阶严格局部极小点存在的必要条件与充分条件.
引理2.1 设k∈N+. 若x0∈StrL(k,f,G∩Q), 则
引理2.2 设k∈N+且k≥2. 若∀v∈C(G,x0)∩T(Q,x0)∩C(f,x0)∖{0},使得
则x0∈StrL(k,f,G∩Q).
引理2.3 如果对∀v∈C(G,x0)∩T(Q,x0)∖{0}, 有
则x0∈StrL(1,f,G∩Q).
现对于(sp),我们利用k -上次梯度,可得其k阶严格局部极小点存在的必要条件.
定理2.2 设k∈N+,ξ∈¯∂kf(x0). 若x0∈StrL(k,f,G∩Q),则有
证 设ξ∈¯∂kf(x0),由定理2.1(ii), 对∀v∈C0(G,x0)∩T(Q,x0)∖{0},有
由已知及引理2.1,
显然,当C0(G,x0)∩T(Q,x0)=S时,定理2.2是凸函数局部极小点存在 必要条件的推广(参见文献[12,pp120,121,定理3.4.3]).
利用定理2.1、引理2.2、引理2.3以及k -下次梯度,我们可得(sp)k阶严格局部极小 点存在的充分条件如下.
定理2.3 设k∈N+且k≥2. 若任给 ξ∈∂_k(f+IQ)(x0),有
证 任给ξ∈∂_k(f+IQ)(x0), 由定理2.1(i), 对∀v∈C(G,x0)∩T(Q,x0)∩C(f,x0)∖{0},
从而由已知及引理2.2,上面结论成立.
定理2.4 任给ξ∈∂_(f+IQ)(x0), 若
证 利用引理2.3,其证明过程与定理2.3类似.
明显地,当C(G,x0)∩T(Q,x0)∩C(f,x0)=S时, 定理2.3是凸函数的局部极小点存在的(文献[12,pp120,121,定理3.4.3]) 充分条件的推广; 当C(G,x0)∩T(Q,x0)=S时,定理2.4是该充分条件的推广.
下面我们继续讨论k -下(上)次梯度的其它性质.
定理2.5 设ξ∈Rn. 则ξ∈∂_kf(x0)⇔ 对R++×Γ中任一收敛序列(tm,um)→(0+,v) (m→+∞), 存在其子序列(tmj,umj)及某数列cm→0(m→+∞)使得
证 ⇒". 设ξ∈∂_kf(x0), 由定义2.1,对任一(t,u)∈R++×Γ,有
其中,r(t,u)→0 (当(t,u)→(0+,v)时).
因为(t,u)∈R++×Γ,故当t>0充分小时,集合{(t,u)}有界. 设∀(tm,um)∈R++×Γ且(tm,um)→(0+,v), 则序列{(tm,um)}有界. 取
∀m∈N+ 得证.
``⇐". 用反证法,设ξ∉∂_kf(x0). 现取r(t,u)=min{0,[f(x0+tu)−f(x0)−tk⟨ξ,u⟩]/tk‖u‖}, 则r(t,u)≤0,且当(t,u)→(0+,v)时,必然 r(t,u)↛ 从而存在数\beta>0,使得
由已知,t_mu_m\rightarrow0\in R^n (m\rightarrow +\infty), 从而存在其子序列\{t_{m_j}u_{m_j}\}使得t_{m_j}u_{m_j}\rightarrow 0\in R^n (j\rightarrow +\infty). 又由已知,存在数列c_m\rightarrow 0 (m\rightarrow +\infty),对充分大的j\in N^+,下式成立
所以由(2.1)、(2.2)式,
对任意充分大的j\in N^+ 成立.
上式当j\rightarrow +\infty时取极限,得 0\leq -\beta 矛盾.
故\xi\in\underline{\partial}^kf(x^0).
定理2.6 设f:R^n \rightarrow R,\,x^0\in R^n,\,\xi \in R^n,\,k\in N^+, 那么下面结论成立.
(i) 设k=1. 则\xi\in\underline{\partial}^kf(x^0)\Leftrightarrow (-\xi,1)\in T^+[E_f,(x^0,f(x^0))].
(ii) 设 k\geq 2. 若x^0 是f在R^n上的局部极小点, 则0\in \underline{\partial}^kf(x^0)\Leftrightarrow(0,1)\in T^+[E_f, (x^0,f(x^0))].
证 先证(i)、(ii)的``\Rightarrow",再证(i)、(ii) 的``\Leftarrow".
``\Rightarrow". 设k\in N^+ ,\xi\in\underline{\partial}^kf(x^0) (在(ii)中, 这时\xi=0\in R^n),\,(x,y)\in T[E_f,(x^0,f(x^0))].
由T -切锥定义,存在数列\lambda_m>0 及序列(x_m,y_m)\in E_f, 使得
即当m\rightarrow+\infty时,
因为\xi\in \underline{\partial}^kf(x^0),所以对任一收敛序列 {(t_m,u_m)}\subset R^{++}\times \Gamma (其中t_m\rightarrow 0^+,m\rightarrow+\infty ), 由定义2.1,有
对\forall 充分大的m \in N^+ . 其中x_m=x^0+t_mu_m,\forall 充分大的m\in N^+,且r(t_m,u_m)\rightarrow 0 (m\rightarrow +\infty).
对\forall 充分大的m\in N^+.
上式乘以\lambda_m(>0),得
此时,
(i) 当k=1时,上式两边对 m\rightarrow+\infty 取极限,并注意到(2.3)式,则有 y\geq \langle \xi,x\rangle , 即 \langle (-\xi,1)\cdot(x,y) \rangle \geq 0. 所以 (-\xi,1)\in T^+[E_f,(x^0,f(x^0))].
(ii) 当k\geq 2时,(2.4)式两边对m\rightarrow +\infty取极限,得 y\geq 0. 即 \langle (0,1)\cdot(x,y)\rangle \geq 0. 从而 (0,1)\in T^+[E_f,(x^0,f(x^0))].
``\Rightarrow". 设k\in N^+,(-\xi,1)\in T^+[E_f,(x^0,f(x^0))],任一(t_m,u_m)\in R^{++}\times \Gamma 收敛,且t_m\rightarrow 0^+ (m\rightarrow +\infty).
令z_m=(t_m u_m,f(x^0+t_m u_m)-f(x^0)),\forall m\in N^+. 为证明简洁, 不妨假设\ z_m/\|z_m\|\rightarrow(x,y)\in R^n\times R (m\rightarrow+\infty),即
且
因为
所以
此时,分为x=0与x\neq 0两种情况.
(a) 若x=0,我们分别讨论(i)、(ii).
由于\|(x,y)\|=1且(-\xi,1)\in T^+[E_f,(x^0,f(x^0))],易得
由(2.5)、(2.6)、(2.7)式,对所有充分大的m\in N^+,
从而对所有充分大的m\in N^+,
这时,若 (i) k=1,则对于(2.8)式取c_m=0,\forall m\in N^+. 由定理2.5, \xi\in\underline{\partial}^kf(x^0).
若 (ii)k\geq 2,因为\xi=0\in R^n,则(2.8)式变为
取c_m=0,\forall充分大的m\in N^+,由定理2.5,\xi=0\in\underline{\partial}^kf(x^0).
(b) 若x\neq 0,由(2.5)式,
由于(x,y)\in T[E_f,(x^0,f(x^0))],(-\xi,1)\in T^+[E_f,(x^0,f(x^0))] ,故
所以对\forall m\in N^+,
其中,
对\forall 充分大的 m\in N^+ .
由(2.6)式,上面c_m中的
于是,若(i) k=1,利用定理2.5与(2.9)式,有\xi\in\underline{\partial}f(x^0).
若(ii) k\geq 2,x^0是f在R^n上的局部极小点,则对任意充分大的m\in N^+,
于是取\xi =0\in R^n,利用(2.9)、(2.10)式可知 c_m\geq 0, 对\forall充分大的m\in N^+.
从而注意到k\geq 2与(2.9)式,可得
对\forall充分大的m\in N^+成立.
又因为\lim\limits_{m\to +\infty} c_m=0,所以由定理2.5,