论文部分内容阅读
最优化是一门应用相当广泛的学科,它讨论决策问题的最佳选择,构造寻求最优解的计算方法。虽然最优化问题可以追溯到古老的极值问题,但直到1947年Dantzig提出一般线性规划问题的单纯形法后,它才成为一门独立的学科。近年来随着系统科学的发展和计算机的广泛应用,最优化理论和方法在工程、国防、经济、管理等领域以及许多数学分支都有着直接或间接的应用,成为一门十分活跃的学科。共轭梯度法是最优化中常用的方法之一,它具有算法简单、存储需求少、易于实现等优点,十分适合求解大规模无约束优化问题。本文研究了求解无约束优化问题的非线性共轭梯度法,并探讨了全局收敛性和数值表现。主要研究内容如下:
⑴介绍了最优化问题的提出以及判断最优解常用的最优性条件;回顾了求解无约束优化问题常用的几类导数下降类算法。
⑵介绍了本文将要研究的问题背景和已有结果以及目前的研究现状。
⑶提出了两种修正的非线性共轭梯度法,分别为修正FR方法和修正HS方法,这两种修正方法的一个重要特征就是能产生充分下降方向,即搜索方向dk满足gkTdk=-‖gk‖2.这种性质不依赖于方法所采用的线性搜索。此外,当采用精确线性搜索时,本文的修正FR方法和修正HS方法分别退化为原始的FR方法和HS方法。因此,当目标函数是严格凸二次函数,且采用精确线性搜索时,这些修正的共轭梯度法具有共轭性和二次终止性。在一定的条件下,我们证明了采用标准Armijo线搜索的修正共轭梯度法求解非凸极小化问题的全局收敛性。在非单调Armijo线搜索下证明了修正HS方法的全局收敛性。数值结果表明本文所修正的共轭梯度法具有良好的计算效能,适合求解大规模无约束优化问题,且稳定性较好。
⑷证明了修正的FR方法和修正的HS方法采取固定步长时的全局收敛性。