最优化与变分不等式的可行解序列的有限终止性
The Finite Termination of Feasible Solution Sequence for Optimization and Variational Inequality
通讯作者:
收稿日期: 2023-07-7 修回日期: 2024-02-25
基金资助: |
|
Received: 2023-07-7 Revised: 2024-02-25
Fund supported: |
|
为了在更弱的条件下, 给出最优化问题 (OP) 与变分不等式问题 (VIP) 的可行解序列的有限终止性, 在这类问题的解集上引进了一个增广映射, 分别建立了解集关于可行解序列广义弱尖锐性的概念. 这个新概念是传统的弱尖锐性与强非退化概念的扩充与推广, 其克服了最优化与变分不等式在许多情况下解集不具有弱尖锐性或强非退化性的缺陷. 在这些问题的解集满足广义弱尖锐性的条件下, 提供其可行解序列有限终止于解集的充分与必要条件. 这些结果是现有相关文献中在弱尖锐或强非退化条件下相应结果的推广, 同时也为许多最优化算法的有限终止性提供了更弱的充分条件.
关键词:
To provide a finite characterization of feasible solution sequences for optimization problems (OP) and variational inequality problems (VIP), an augmented set value map is introduced for the solution sets of these problems. Additionally, the concepts of augmented weak sharpness with respect to feasible solution sequences are established. These novel notions extend the traditional concepts of weak sharpness and strongly non-degeneracy relative to feasible solution sequences, addressing the limitation that solution sets often lack weak sharpness or strongly non-degeneracy in many cases. When the feasible solution sets of optimization problems and variational inequality problems exhibit augmented weak sharpness, the necessary and sufficient conditions for the finite termination of feasible solution sequences are provided for each problem. These conditions extend the corresponding results found in existing literature, where solution sets are weak sharp or strongly non-degenerate. Furthermore, sufficient conditions with fewer restrictions are provided for the finite termination of various optimization algorithms.
Keywords:
本文引用格式
王茹钰, 赵文玲, 宋道金.
Wang Ruyu, Zhao Wenling, Song Daojin.
1 引言
考虑如下最优化问题
其中,
其中,
并不成立. 但是当
对于最优化问题算法所产生的可行解序列的有限终止性问题, 长期受到了广泛的关注与研究. 在这些研究中, 早期由 Rockafellar[2], Polyak[3] 与 Ferris[4] 相继给出的最优化问题解集的弱尖锐性与强非退化性, 它们中的任意一个都被证明是临近点算法 (Proximal point algorithm) (见文献 [2,5⇓⇓⇓⇓⇓⇓-12])与某些重要的迭代算法[13⇓⇓⇓⇓⇓⇓⇓⇓⇓-23] 具有有限终止性的充分条件. 此外, 还注意到解集的这个特性在误差界与灵敏度分析中起着重要的作用[24⇓⇓⇓⇓⇓⇓-31], 并且在半无限规划的``平静"问题中也得到了有效的应用[32].
值得提出的是, 上述算法产生的可行解序列的有限终止性, 不仅依赖于解集的弱尖锐性或者强非退化性, 而且还依赖于算法的具体结构特点. 因此, 进一步来研究在弱尖锐性或强非退化性的条件下, 一个不依赖于具体算法的可行解序列具有有限终止的条件, 更具有普遍的意义. 较早研究这个问题的是 Burke 与 Moré[14], 他们对光滑的规划问题, 在可行解序列收敛到一个强非退化点的条件下, 给出了该序列有限终止于稳定点的充分与必要条件 (见文献 [14,推论 3.5]. 这里注意到强非退化概念与弱尖锐性概念有着密切的联系. 特别地, 在凸规划中, 强非退化概念是弱尖锐性概念的特例. 而在非凸规划中,强非退化性与弱尖锐性并无包含关系. 继文献 [14] 之后, Buke 与 Ferris[33] 对光滑凸规划在解集具有弱尖锐性且可行解序列满足两个假设条件之下, 给出了该序列有限终止的充分与必要条件(见文献 [33,定理 4.7]).
为了将这个结果推广到变分不等式中, Marcotte 与 Zhu[34] 首先给出了其解集弱尖锐的定义, 然后在与文献 [33,定理 4.7] 类似的条件下, 将这个结果推广到连续的伪单调
在上述文献中, 解集的弱尖锐性质以及强非退化性质, 在许多情况下并不成立 (见本文第 2 节). 根据这些情况, 本文针对最优化问题和变分不等式问题, 分别在它们的解集上引进了一个广义映射 (单值的或多值的), 建立了解集关于可行解序列的广义弱尖锐性的概念. 这个新概念是凸规划问题中解集的弱尖锐性概念的实质性推广. 值得注意的是, 不论在凸规划或者非凸规划中, 广义弱尖锐性的概念都包含弱尖锐性和强非退化性, 也就是说, 弱尖锐性和强非退化性都是广义弱尖锐性的特例. 第 3 节分别在解集是广义弱尖锐性的条件下, 给出了可行解序列有限终止于解集的充分与必要条件. 这些结果分别包含了现有相关文献 [12,14,21,33⇓-35] 中相应的结果 (见本文第 3 节的推论). 此外, 建立的广义弱尖锐性的概念也为许多最优化算法的有限终止性提供了更弱的充分条件.
下面介绍本文用到的一些概念与符号.
设
据上述定义即知
设
集合
一般意义下, 集合
集合
由文献 [1,命题 6.5] 可知
当
设
注意由上述定义可知, 当
点
如果
设函数
如果
如果存在
2 最优化与变分不等式解集的广义弱尖锐性
本节首先介绍有关文献中关于最优化问题 (OP) 与变分不等式问题 (VIP) 的解集的弱尖锐性与强非退化性等概念. 之后, 分别给出了最优化 (OP) 与变分不等式 (VIP) 问题的解集关于可行解序列的广义弱尖锐性的概念, 并阐明这个新概念是凸规划解集的弱尖锐性概念与单调变分不等式解集的弱尖锐概念的实质性推广. 同时在可行解满足通常的假设下, 对一般的最优化 (OP) 与变分不等式 (VIP) 问题, 讨论了解集的广义弱尖锐性与弱尖锐性或强非退化性之间的包含关系. 最后给出若干例子, 表明它们的解集不具有弱尖锐性或强非退化性, 但是对于满足一定条件的可行解序列, 它们的解集却具有广义弱尖锐性.
对于最优化问题
定义 2.1 在最优化问题 (OP) 中, 如果存在常数
则称为解集
如果 (OP) 是非光滑的凸规划, 那么
其中,
如果 (OP) 是光滑的凸规划, 那么
定义 2.2 设在 (OP) 中, 对
成立, 则称解集
注 2.1 在 (2.3) 式中采用
因此, 由上式可知
采用
考虑变分不等式问题
其中
定义 2.3 在 (VIP) 中, 如果有
称解集
则称解集
类似地, 在 (VIP) 中, 如果
则称解集
如前面所述, 在许多情况下, 解集不具有弱尖锐性或强非退化性, 为了克服这种缺陷, 下面引进解集关于可行解序列的广义弱尖锐性的概念.
定义 2.5 对于最优化问题 (OP), 假设其解集
(1) 集合
(2) 当
(a) 存在常数
(b) 对于
则称
类似地, 对于变分不等式问题
(1) 集合
(2) 当
(a) 存在常数
(b') 对于
则称
接下来讨论
2.1 最优化问题 (OP) 是非光滑的情况
命题 2.1 设在凸规划 (OP) 中, 若解集
证 由于 (OP) 是凸规划, 据文献 [37,定理 23.4] 知, 对
由假设
注 2.2 由命题 2.1 与后面的命题 2.3, 命题 2.7 表明, (OP) 与 (VIP) 的解集的广义弱尖锐性分别是凸规划解集的弱尖锐性与单调变分不等式解集的弱尖锐性的推广. 下面这个简单例子表明解集不具有弱尖锐性, 但是对满足一定条件的可行解序列, 解集是广义弱尖锐性的.
例 2.1 对于最优化问题
其中,
为了方便, 简记下面符号
命题 2.2 设在凸规划 (OP) 中, 解集
则对任意
由上式即得
即
2.2 (OP) 是光滑的情况
命题 2.3 设在光滑凸规划 (OP) 中, 若解集
即
证 由于
命题 2.4 设在光滑规划 (OP) 中, 对解集
如果
证 设
即定义 2.5 中 (b) 成立, 亦即
命题 2.5 设在光滑的 (OP) 中,
证 设
令
由 (2.10) 式即得
即定义 2.5 中 (b) 成立, 亦即
命题 2.6 设在光滑规划 (OP) 中,
证 设
由假设
这样根据 (2.4) 与 (2.12) 式知存在常数
现在定义增广映射
根据 (2.13) 和 (2.14) 式, 有
即定义 2.5 中 (a) 成立.又因为
即定义 2.5 中 (b) 成立, 亦即
2.3 变分不等式的情况
对于 (VIP), 可以分别仿照命题 2.1, 命题 2.5 与命题 2.6 的证明, 得出以下命题.
命题 2.7 设在 (VIP) 中,
命题 2.8 设在 (VIP) 中,
命题 2.9 设在 (VIP) 中,
由上述命题可知, 对于一般的 (OP) 与 (VIP), 在适当假设条件下, 解集的弱尖锐性或强非退化性都蕴含着解集的广义弱尖锐性. 为了进一步说明这个新概念具有较大的包容性, 下面给出几个例子, 它们表明其解集不具有弱尖锐性或强非退化性, 但是对于满足一定条件的可行解序列, 它们的解集是广义弱尖锐性的.
例 2.2 考虑变分不等式问题 (VIP)
其中
当
这是一个非单调的变分不等式问题. 由 (2.15), (2.16) 式可知,
下面证明
(i)
(ii)
为此, 设
由 (2.16) 和 (2.17) 式可知定义 2.5 中的条件 (a) 成立. 现在对
其中
据条件 (ii) 有界序列
据 (2.17), (2.18) 和 (2.19) 式, 当
再据 (2.19) 式即得
即定义 2.5 中 (b) 成立.
例 2.3 考虑最优化问题 (OP)
其中
这里的解集
由 (2.20), (2.21) 式得
由上式即知本例中的解集
现在取定充分小的
显然,
由 (2.21), (2.23) 式可知定义 2.5 中 (a) 成立. 现在证明 (b) 也成立. 注意到
(1)
(2)
对于情况 (1), 利用 (2.22) 式, 有
对于情况 (2), 同样利用 (2.22) 式就得出
从而得出
注意, 在这个例子中, 当
类似的例子还有很多, 比如下面的例子.
例 2.4 最优化问题 (OP)
其中
例 2.5 变分不等式问题 (VIP)
其中
3 有限终止性
在这一节中, 在解集是广义弱尖锐性的条件下, 分别给出了最优化问题 (OP) 与变分不等式问题 (VIP) 的可行解序列有限终止于解集的必要与充分条件. 在这两个结果的推论中分别包含了相关文献中在解集是弱尖锐的或强非退化条件下的相应结果. 最后, 给出了一个最优化问题的例子, 来验证结论的正确性.
3.1 最优化问题情况
定理 3.1 设在最优化问题 (OP) 里,
(1) 设 (1.1) 式成立. 如果
(2) 如果 (3.1) 式成立, 则
证 (1) 如果
(2) 设 (3.1) 式成立.下面证明
并且对
因为
因此, 据
再据
由 (3.4) 和 (3.5) 式, 即得
设
据 (3.6) 和 (3.7) 式, 对
另一方面, 由 (3.1) 式可知
因此, 存在
这样由 (3.8) 和 (3.5) 式及投影梯度的性质 (见文献 [38,引理 3.1]), 对
根据 (3.3) 和 (3.9) 式, 由上式即得
由此引出矛盾. 证毕.
若
推论 3.1 设在规划 (OP) 中,
由命题 2.1 与推论 3.1 即得
推论 3.2 设在凸规划 (OP) 中,
由命题 2.4 与定理 3.1 即得
推论 3.3 设在光滑最优化问题 (OP) 中,
由命题 2.5 与定理 3.1 即得
推论 3.4 设在光滑规划 (OP) 中,
由命题 2.6 与定理 3.1 即得
推论 3.5 设在光滑最优化问题 (OP) 中,
3.2 变分不等式的情况
现在讨论变分不等式问题 (VIP) 的情况.首先注意在这种情况下, 其解集
定理 3.2 设在变分不等式问题 (VIP) 中,
由命题 2.8 与定理 3.2 即得
推论 3.6 设在变分不等式问题 (VIP) 中,
由命题 2.9 与定理 3.2 即得
推论 3.7 设在变分不等式问题 (VIP) 中,
3.3 实例
下面, 就最优化问题情况, 给出一个例子来验证结论的正确性.
例 3.1 最优化问题 (OP)
其中
这是一个光滑的非凸最优化问题, 由
由此可知,
如果
如果
由于此例中
参考文献
Monotone operators and the proximal point algorithm
Regularization of proximal point algorithms in Hadamard manifolds
Metastability of the proximal point algorithm with multi-parameters
Finite termination of the proximal point algorithm
Convergence and stability of the stochastic proximal point algorithm with momentum
Finite termination of the proximal point algorithm in Banach spaces
A unified analysis of extra-gradient and optimistic gradient methods for saddle point problems: Proximal point approach
Prox-method with rate of convergence
On finite convergence of proximal point algorithms for variational inequalities
Finite convergence of algorithms for nonlinear programs and variational inequalities
On the identification of active constraints
Convergence analysis of machine learning algorithms for the numerical solution of mean field control and games: II—the finite horizon case
On finite termination of an iterative method for linear complementarity problems
Finite convergence of an active signature method to local minima of piecewise linear functions
Weak sharpness and finite convergence for mixed variational inequalities
Some methods based on the D-gap function for solving monotone variational inequalities
Convergence properties of nonmonotone spectral projected gradient methods
Global convergence and finite termination of a class of smooth penalty function algorithms
Some recent advances in projection-type methods for variational inequalities
Finite-time convergence disturbance rejection control for a flexible Timoshenko manipulator
Weak sharp minima revisited, part II: Application to linear regularity and error bounds
Weak sharp minima revisited, Part III: Error bounds for differentiable convex inclusions
Hoffman's error bound, local controllability, and sensitivity analysis
Two error bounds for constrained optimization problems and their applications
Automatic perturbation analysis for scalable certified robustness and beyond
Weak sharp minima for semi-infinite optimization problems with applications
Weak sharp minima in mathematical programming
Weak sharp solutions of variational inequalities
New characterizations of weak sharp minima
Characterization of solution sets of convex programs
Projected gradient methods for linearly constrained problems
/
〈 |
|
〉 |
