关于无约束最优化问题的拟牛顿算法研究

来源 :太原科技大学 | 被引量 : 0次 | 上传用户:sunashelly
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
拟牛顿算法是求解无约束最优化问题最常用的方法之一.拟牛顿算法是牛顿法的一种推广,牛顿法中每次迭代都需要计算Hessian矩阵,但计算Hessian矩阵工作量大,并且有的很难计算,甚至不好求,而以拟牛顿方程为基础构造的拟牛顿算法克服了牛顿法的这一不足.拟牛顿算法利用目标函数的一阶导数信息构造出目标函数的曲率近似,而不需要明显形成Hessian矩阵,而且具有超线性收敛速度的优点. 拟牛顿方程在拟牛顿算法的研究过程中起着举足轻重的作用.传统的拟牛顿方程只利用了目标函数的梯度信息而忽略了目标函数值的信息,这无疑是对信息资源的浪费.考虑到对信息资源的充分利用,已有许多研究者们对传统的拟牛顿方程进行修改,并推导出新的拟牛顿算法.本文借助于前人的思想利用四阶泰勒展开,提出了-种新拟牛顿方程,从而为拟牛顿方程的进一步修改奠定了理论基础.然后对基于新拟牛顿方程的新拟牛顿算法进行了研究.这些新拟牛顿算法不仅保留了常见拟牛顿算法的大部分良好性质,而且在近似目标函数的二次曲率时比以往的拟牛顿算法都有更高的精确度.本文主要研究内容如下: 第一、讨论了基于新拟牛顿方程的BFGS新拟牛顿算法的收敛性.首先通过四阶泰勒展开提出了一种新拟牛顿方程,新拟牛顿方程不仅利用了目标函数的梯度信息,而且用到了目标函数值的信息.在此基础上推导出了一种新的BFGS校正公式,并结合Wolfe线性搜索给出了相应的BFGS新拟牛顿算法.其次,论证了这种新拟牛顿算法在wolfe线性搜索下对凸函数具有全局收敛性,并且证明了在一定条件下是超线性收敛的.最后,以C语言为工具进行数值实验,实验结果表明新算法是有效的. 第二、证明了基于新拟牛顿方程的修改Broyden族全局收敛性.基于上述的新拟牛顿方程提出了修改Broyden族校正公式,在采用一种比Wolfe线性搜索更广泛的LS线性搜索模型下,提出修改Broyden族的新拟牛顿算法.然后,对一致凸函数证明了这种新算法的全局收敛性,为修改Broyden族的进一步研究奠定基础. 第三、讨论了基于新拟牛顿方程的新拟牛顿算法对一般目标函数的全局收敛性.当目标函数为一般非凸函数时,分别对基于新拟牛顿方程的BFGS和修改Broyden族的新拟牛顿算法的全局收敛性进行了证明. 第四、证明了基于非单调线性搜索下新拟牛顿算法的全局收敛性.论证了基于新拟牛顿方程的修改Broyden族在非单调线性搜索下,对一致凸函数具有全局收敛性.
其他文献
自然界和人类社会中广泛存在着复杂系统,而复杂系统可通过各种各样的网络来描述。随着计算机、互联网和高科技等科学技术的迅猛发展,网络的研究引起了国内外不同学科的高度重视
学位
本文利用积分几何的知识对Buffon投针问题作了推广.给出了广义支撑函数和限弦函数的定义,并利用它们将凸域内定长线段的运动测度m(l)的普遍公式转化为更易求解的形式.同时,根据
基于视觉的导航与三维重建是计算机视觉研究领域的重点.立体视觉的原理是利用双目或者多目摄像机的视差信息以及相机外参数从二维图像中恢复场景的三维坐标.基于立体视觉导航
首先,在查阅了大量文献的基础上,本文对线性规划相关理论及算法作了系统回顾和总结.  其次,本文提出了一种求解线性规划新算法.这种新算法不需要初始可行解,在低维线性规划
本文考虑一类Hamilton系统低维双曲不变环面的保持性问题。文中给出此Hamilton系统所对应的Hamilton函数。本文通过作用变量的平移变换,采用改进的KAM迭代方法,证明了此Hamilto
控制集是图论中的重要概念,它定义为图中的一个点集,使得图中其它任何一点都与该点集中的某点相邻。这一概念的提出始于Komg、Berge和Ore,他们的著作和Cockayne,Hedetniemi,以及La
本文主要研究了动力系统中的三个方面即分别是拓扑动力系统研究的图像方法.帐篷映射的动力性态和高维空间中系统的动力性状.借助于几种回复时间集引入几类相应的极限集,由此建