【摘 要】
：
最优化是许多数值计算相关的研究领域（例如机器学习,深度学习,信号处理和工业设计等）支撑技术.其中拟牛顿方法是求解非线性最优化问题中应用最广泛的方法之一.如今,用来解决无约束,约束的优化问题的软件包含了大量的拟牛顿方法.然而,面对梯度非Lipschitz连续的问题时,目前的拟牛顿算法可能会失效.这促使我们在经典拟牛顿公式的基础上,寻找一种用于梯度非Lipschitz连续非凸优化的拟牛顿方法.因此,更
论文部分内容阅读
最优化是许多数值计算相关的研究领域（例如机器学习,深度学习,信号处理和工业设计等）支撑技术.其中拟牛顿方法是求解非线性最优化问题中应用最广泛的方法之一.如今,用来解决无约束,约束的优化问题的软件包含了大量的拟牛顿方法.然而,面对梯度非Lipschitz连续的问题时,目前的拟牛顿算法可能会失效.这促使我们在经典拟牛顿公式的基础上,寻找一种用于梯度非Lipschitz连续非凸优化的拟牛顿方法.因此,更进一步地探究拟牛顿相关算法的理论性质和应用场景十分必要.Broyden-Fletcher-Goldfarb-Shanno（BFGS）方法因其理论成果丰富,数值表现优异成为最受关注的拟牛顿方法之一.于是本文就以此方法作为基础.首先,提出了有助于实现信赖域性质的阻尼的BFGS更新规则.其次,BFGS方法最令人津津乐道的特性是其自校正性质.为了使这一性质具有更好的性能,利用阻尼的更新规则,通过对更新公式的第三项进行缩放,使其能够更好的校正大特征值.借助信赖域的强收敛性以及自校正性,提出了两种针对梯度非Lipschitz连续非凸优化的拟牛顿方法.在Armijo线搜索或者弱Wolfe-Powell（WWP）线搜索下,建立了全局收敛性.在适当的条件下获得了超线性收敛速率.与此同时,借助信赖域的性质,也提出了一类不需要线搜索的的算法,同样获得了全局收敛性.初步的数值实验表明,提出的算法的计算效率相对于其他的BFGS类方法具有竞争性.并且,我们知道拟牛顿方法是一种特殊的共轭梯度（CG）方法.因此针对CG方法,在保留算法充分下降性的同时增加了其自适应性,从而实现了信赖域的性质.也获得了全局收敛性的结果.
其他文献
粗糙集理论是处理模糊和不确定性知识的有效工具.近似空间是粗糙集理论的基础.模糊概率近似空间是一类特殊的近似空间,它包含模糊性、随机性和粗糙性三种不确定性,可以克服传统粗糙集及其模糊推广理论忽略概率分布所造成的信息缺失.本文研究了模糊概率近似空间及其不确定性度量.首先介绍了模糊概率近似空间的概念.在此基础上,定义了概率分布诱导的两种模糊关系（即*-模糊关系和◇-模糊关系）.据此归纳出两类模糊近似空间
本学位论文讨论了 一类带有对数项的临界问题的正解的存在性,其中Ω是RN内有界光滑区域λ,μ∈R,N≥3,2*=2N/N-2是H01（Ω）嵌入L2*（Ω）的临界Sobolev指标.由于对数项slogs2符号的不确定性,使得这个问题更加有趣.我们将证明:如果N≥4,λ∈ R和μ＞0,上述问题都有一个山路解,它也是一个正的基态解.同时,还证明了:如果N=3,且λ,μ满足某些假设,那么它有一个正解.结合文
相位恢复是指从复值信号的强度测量值或者幅度测量值恢复其本身,其拥有很强的应用背景,比如光学,量子力学,天文学等领域.而相位恢复之所以应用如此广泛,是由于现有的技术无法直接表征频率过高的信号（如超短脉冲）,需要采用相位恢复来表征信号.随着超短脉冲宽度越来越小,功率峰值越来越高,超短脉冲在高能物理,飞秒化学,通信等领域有着广泛的应用前景,但是其表征技术一定程度上制约了其进一步发展.目前,频率分辨光学开
非凸优化是非线性规划的重要课题之一,其应用的背景十分广泛,比如,统计学习,图像处理,信号恢复,机器学习等.本文主要研究线性约束非凸两分块优化问题,基于问题的结构和其特殊的性质,设计两类新型的广义交替方向乘子方法,并在合适的条件下分析了新算法的收敛性.本文主要研究内容及贡献如下:1.提出增量聚集邻近广义交替方向乘子法求解非凸两分块优化问题,其目标函数的光滑部分由多个光滑函数的组成.但是针对大规模问题
黑洞是广义相对论中最重要的天体之一,最近首张黑洞照片的公开进一步提高了人们对这类天体的兴趣.在史瓦西时空中,光从外部到达史瓦西半径的时间为无限大,这意味着黑洞内部对于视界外部的观测者来说是不可见的.然而,如果黑洞真的存在,那么它的内部就应当是可探测的,这一目标让科学家们上下求索了近一个世纪,黑洞视界问题在理论物理学界的讨论仍未休止,这一事实足以证明它们的重大意义.光信号不能穿越视界是在经典广义相对
碰撞振动系统广泛存在于工程领域和日常生活中,是一种常见的分段光滑系统.随着机械工程领域的发展,碰撞振动系统的结构也越来越复杂,因此本文考虑两类复杂双侧约束碰撞振动系统,分别为一类在Coulomb摩擦影响下的二自由度双侧混合约束碰撞系统,以及一类9)自由度非对称双侧碰撞振动系统.本文主要研究内容如下:首先,针对一类在Coulomb摩擦影响下的二自由度双侧混合约束碰撞系统,将该系统所有可能的运动状态进
机组组合（unit commitment,UC）是电力系统优化运行中的一个重要问题,其目标是在满足系统负荷需求、备用、环境以及机组自身条件等各种约束下,使系统总的运行费用最小。由于科学合理的机组优化运行方案的重要性和复杂性,UC问题一直是相关领域的研究重点和难点。近年来随着节能减排方针的执行,作为清洁的可再生能源代表,风电大量并入电网,其不确定性使原本已非常复杂的电力系统优化运行变得更加复杂。因此
最优化理论被广泛的应用于航空航天、核磁影像、智慧交通等多个领域.其中大规模的无约束优化问题作为优化领域较为困难的问题,同时也是应用最广泛的问题受到了学者们的广泛关注,共轭梯度法由于其迭代简单、收敛性好、内存要求低,针对求解大规模无约束优化问题优势十分显著.本学位论文基于前人的研究,提出两类改进的三项共轭梯度算法.算法一为一类改进的混合参数三项共轭梯度算法,该算法的共轭参数为修正的HS和DY型共轭参
本文主要研究广义度量空间中的Sehgal-Guseman型不动点定理.主要分为两部分,其一是b-矩形度量空间中的Sehgal-Guseman型不动点定理,其二是b-度量空间中的Sehgal-Guseman型公共不动点定理.在b-矩形度量空间中本文解决了Mitrovic在2018年提出的一个公开问题,即证明了b-矩形度量空间中的Sehgal-Guseman型不动点定理.此定理推广和统一了若干广义度量
随着计算机科学的发展,生活中存在大量的高维数据,如视频流、图像等.传统的方法往往将数据重新排列成矩阵进行处理,这无疑会破坏原数据的空间结构,丢失结果的关联信息.张量为高阶数组,是向量和矩阵的高维推广,以能够维持高维数据结构不被破坏的特点,吸引到广大学者的研究注意力,是高维数据分析的强有力工具.目前广泛应用于机器学习、数据挖掘、信号处理等领域.本文主要研究求解张量分解问题的交替最小二乘法（ALS）和