论文部分内容阅读
拟牛顿算法是求解无约束最优化问题最常用的方法之一.拟牛顿算法是牛顿法的一种推广,牛顿法中每次迭代都需要计算Hessian矩阵,但计算Hessian矩阵工作量大,并且有的很难计算,甚至不好求,而以拟牛顿方程为基础构造的拟牛顿算法克服了牛顿法的这一不足.拟牛顿算法利用目标函数的一阶导数信息构造出目标函数的曲率近似,而不需要明显形成Hessian矩阵,而且具有超线性收敛速度的优点.
拟牛顿方程在拟牛顿算法的研究过程中起着举足轻重的作用.传统的拟牛顿方程只利用了目标函数的梯度信息而忽略了目标函数值的信息,这无疑是对信息资源的浪费.考虑到对信息资源的充分利用,已有许多研究者们对传统的拟牛顿方程进行修改,并推导出新的拟牛顿算法.本文借助于前人的思想利用四阶泰勒展开,提出了-种新拟牛顿方程,从而为拟牛顿方程的进一步修改奠定了理论基础.然后对基于新拟牛顿方程的新拟牛顿算法进行了研究.这些新拟牛顿算法不仅保留了常见拟牛顿算法的大部分良好性质,而且在近似目标函数的二次曲率时比以往的拟牛顿算法都有更高的精确度.本文主要研究内容如下:
第一、讨论了基于新拟牛顿方程的BFGS新拟牛顿算法的收敛性.首先通过四阶泰勒展开提出了一种新拟牛顿方程,新拟牛顿方程不仅利用了目标函数的梯度信息,而且用到了目标函数值的信息.在此基础上推导出了一种新的BFGS校正公式,并结合Wolfe线性搜索给出了相应的BFGS新拟牛顿算法.其次,论证了这种新拟牛顿算法在wolfe线性搜索下对凸函数具有全局收敛性,并且证明了在一定条件下是超线性收敛的.最后,以C语言为工具进行数值实验,实验结果表明新算法是有效的.
第二、证明了基于新拟牛顿方程的修改Broyden族全局收敛性.基于上述的新拟牛顿方程提出了修改Broyden族校正公式,在采用一种比Wolfe线性搜索更广泛的LS线性搜索模型下,提出修改Broyden族的新拟牛顿算法.然后,对一致凸函数证明了这种新算法的全局收敛性,为修改Broyden族的进一步研究奠定基础.
第三、讨论了基于新拟牛顿方程的新拟牛顿算法对一般目标函数的全局收敛性.当目标函数为一般非凸函数时,分别对基于新拟牛顿方程的BFGS和修改Broyden族的新拟牛顿算法的全局收敛性进行了证明. 第四、证明了基于非单调线性搜索下新拟牛顿算法的全局收敛性.论证了基于新拟牛顿方程的修改Broyden族在非单调线性搜索下,对一致凸函数具有全局收敛性.