两类三维子空间共轭梯度算法的研究

来源 :广西大学 | 被引量 : 0次 | 上传用户:ljq529632883
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
共轭梯度法因具有迭代形式简单,所需计算量和存储量少,且收敛速度较快等特点,常被用于求解无约束优化问题。子空间方法通过在给定的子空间中极小化目标函数的近似模型来简化原问题以减少迭代中的计算量和存储量,非常适合求解大规模优化问题。近年来,一些研究者们将子空间技术和共轭梯度法结合,研究用于求解大规模无约束优化问题的子空间共轭梯度算法。针对大规模无约束优化问题,本论文将子空间方法嵌套到共轭梯度算法中,围绕三维子空间的构造、近似模型的选取及嵌套参数的处理这三个方面展开,研究两类三维子空间共轭梯度算法。具体研究内容如下:本论文基于修正的梯度改变量、当前迭代点的梯度及前一个迭代点的搜索方向为当前迭代点的搜索方向构建了一个特殊三维子空间(?)k+1。第3章通过在子空间(?)k+1上极小化目标函数的二次近似模型,并结合余弦平方取均值和BBCG方法估计嵌套参数,从而确定搜索方向,并将其嵌套于共轭梯度算法中,给出一类基于二次近似模型的三维子空间共轭梯度算法,并证明了该算法对于一般非凸函数的全局收敛性。最后,在数值实验部分,将该算法用于求解大规模无约束优化问题和图像修复问题,数值结果表明该算法具有稳健及高效的数值表现。当迭代点距离函数最优解较远或目标函数的非二次性较强时,基于二次近似模型的算法收敛速度较慢。针对此类问题,第4章讨论了基于三次正则化模型的三维子空间共轭梯度算法,利用插值函数更新三次正则化模型中的正则参数。根据近似模型的判别准则,调整正则参数实现算法自适应地选择二次近似或三次正则化模型逼近目标函数;通过在给定的子空间中极小化目标函数的近似,确定嵌套参数,获得了相应的子空间共轭梯度算法。该算法对于一般非凸目标函数具有全局收敛性,数值试验表明该算法具有稳健且高效的数值表现。
其他文献
黑洞是广义相对论中最重要的天体之一,最近首张黑洞照片的公开进一步提高了人们对这类天体的兴趣.在史瓦西时空中,光从外部到达史瓦西半径的时间为无限大,这意味着黑洞内部对于视界外部的观测者来说是不可见的.然而,如果黑洞真的存在,那么它的内部就应当是可探测的,这一目标让科学家们上下求索了近一个世纪,黑洞视界问题在理论物理学界的讨论仍未休止,这一事实足以证明它们的重大意义.光信号不能穿越视界是在经典广义相对
学位
碰撞振动系统广泛存在于工程领域和日常生活中,是一种常见的分段光滑系统.随着机械工程领域的发展,碰撞振动系统的结构也越来越复杂,因此本文考虑两类复杂双侧约束碰撞振动系统,分别为一类在Coulomb摩擦影响下的二自由度双侧混合约束碰撞系统,以及一类9)自由度非对称双侧碰撞振动系统.本文主要研究内容如下:首先,针对一类在Coulomb摩擦影响下的二自由度双侧混合约束碰撞系统,将该系统所有可能的运动状态进
学位
机组组合(unit commitment,UC)是电力系统优化运行中的一个重要问题,其目标是在满足系统负荷需求、备用、环境以及机组自身条件等各种约束下,使系统总的运行费用最小。由于科学合理的机组优化运行方案的重要性和复杂性,UC问题一直是相关领域的研究重点和难点。近年来随着节能减排方针的执行,作为清洁的可再生能源代表,风电大量并入电网,其不确定性使原本已非常复杂的电力系统优化运行变得更加复杂。因此
学位
最优化理论被广泛的应用于航空航天、核磁影像、智慧交通等多个领域.其中大规模的无约束优化问题作为优化领域较为困难的问题,同时也是应用最广泛的问题受到了学者们的广泛关注,共轭梯度法由于其迭代简单、收敛性好、内存要求低,针对求解大规模无约束优化问题优势十分显著.本学位论文基于前人的研究,提出两类改进的三项共轭梯度算法.算法一为一类改进的混合参数三项共轭梯度算法,该算法的共轭参数为修正的HS和DY型共轭参
学位
本文主要研究广义度量空间中的Sehgal-Guseman型不动点定理.主要分为两部分,其一是b-矩形度量空间中的Sehgal-Guseman型不动点定理,其二是b-度量空间中的Sehgal-Guseman型公共不动点定理.在b-矩形度量空间中本文解决了Mitrovic在2018年提出的一个公开问题,即证明了b-矩形度量空间中的Sehgal-Guseman型不动点定理.此定理推广和统一了若干广义度量
学位
随着计算机科学的发展,生活中存在大量的高维数据,如视频流、图像等.传统的方法往往将数据重新排列成矩阵进行处理,这无疑会破坏原数据的空间结构,丢失结果的关联信息.张量为高阶数组,是向量和矩阵的高维推广,以能够维持高维数据结构不被破坏的特点,吸引到广大学者的研究注意力,是高维数据分析的强有力工具.目前广泛应用于机器学习、数据挖掘、信号处理等领域.本文主要研究求解张量分解问题的交替最小二乘法(ALS)和
学位
最优化是许多数值计算相关的研究领域(例如机器学习,深度学习,信号处理和工业设计等)支撑技术.其中拟牛顿方法是求解非线性最优化问题中应用最广泛的方法之一.如今,用来解决无约束,约束的优化问题的软件包含了大量的拟牛顿方法.然而,面对梯度非Lipschitz连续的问题时,目前的拟牛顿算法可能会失效.这促使我们在经典拟牛顿公式的基础上,寻找一种用于梯度非Lipschitz连续非凸优化的拟牛顿方法.因此,更
学位
环论是代数学的主要研究方向之一.通过将环的元素分解为一些特殊元素之和来刻画环的结构和性质是近二十年环论研究的热门课题.这些特殊元素主要有可逆元(单位)、幂等元、n-potent元、幂零元等.本文首次引进了拟potent元的概念,推广了potent元和拟幂等元的概念.本文主要通过拟potent元定义了拟potent环、半拟potent环、拟quasi-polar环、强quasinil quasi-c
学位
Inconel 625因其优异的综合性能广泛应用于各种工业领域。随着各行业的发展,对Inconel 625合金的性能要求越来越高,因此进一步改善Inconel 625合金的组织及性能非常必要。本文总结了近7年国内外学者对Inconel 625合金成型制备、组织性能、熔盐腐蚀等方面的研究,其中成型方法从3D打印技术(即增材制造)、表面改性技术等方面综述;性能方面主要总结了化学成分和热处理工艺;熔盐腐
期刊
随着科技的发展以及大数据时代的到来,机器学习在我们生活中越来越重要,而随机优化方法则是机器学习的重要理论基础和不可缺少的方法,广泛应用于统计学习,数据分类,交通运输及经济管理等相关领域.拟牛顿方法和共轭梯度方法是求解无约束优化问题的经典方法,可用于求解非线性方程组,光滑和非光滑优化问题.因此,本学位论文将其推广应用到到随机优化中,用于求解随机优化问题,从而获得全局收敛性以及更好的复杂度结果和收敛速
学位