min-max问题的截断凝聚光滑拟牛顿法及其在模糊神经网络学习中的应用

来源 :大连理工大学 | 被引量 : 0次 | 上传用户:pipe55
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
min-max问题是一类重要的非光滑优化问题,在投资组合、工程设计、大型故障诊断等很多实践领域中有着广泛的应用。对于求解无约束min-max问题的凝聚光滑化方法的研究尽管取得了非常丰富的成果,但是随着大数据时代的到来,计算技术的进步和数据收集、传输和存储技术的不断升级,使得实际面临问题的规模越来越大,因此,研究大规模min-max问题的高效求解方法仍然是一个重要的课题。本文主要研究了求解大维数且带有大量组成函数的min-max问题的凝聚光滑拟牛顿法,及引入凝聚光滑技术训练带有min和max逻辑算子的模糊神经网络。我们通过深入研究求解min-max问题的截断凝聚光滑牛顿法,利用拟牛顿修正公式获得近似的Hessian矩阵,结合简单的凝聚参数调整准则,提出高效的求解大规模的无约束min-max问题的拟牛顿法。并且通过引入凝聚光滑技术,研究带有min和max算子的模糊神经网络的光滑梯度法,提出了渐进光滑的梯度凝聚光滑训练算法,有效的减缓算法病态现象的发生,克服了以往光滑训练算法使得网络训练过早停止或训练过慢的问题。本文的主要内容概括为以下几个方面:1.在第一章中,主要介绍本文所研究的min-max问题模型及其应用背景,非常全面地评述了求解min-max问题的相关理论及各类算法,包括直接对max型函数进行凝聚光滑的方法,概括了凝聚光滑稳定牛顿型及高斯-牛顿型法的研究成果,以及凝聚光滑在min和max逻辑算子的模糊神经网络训练中的最新应用,进而引出本文所研究的问题。最后,简述了研究动机、研究思路以及本论文内容的结构安排。2.在第二章中,提出Armijo线搜索下的截断凝聚光滑拟牛顿法和信赖域策略下的截断凝聚光滑对称秩-1法。这简化了截断准则和凝聚参数更新准则。同时,在信赖域框架下,任意迭代点处都可以进行近似Hessian矩阵的对称秩-1更新且矩阵可能不是正定矩阵。数值结果表明,相比于其他同类的算法,当问题的维数增加且组成函数较多时,所提算法具有优势。3.在第三章中,为求解大维数且带有大量组成函数的无约束min-max问题,我们提出了一种高效的截断凝聚光滑BFGS拟牛顿法。通过相邻迭代点和梯度信息,给出两个条件来决定是否进行BFGS更新。并在组成函数强凸的假定下,任意凝聚参数下的近似Hessian矩阵及其逆矩阵都是有界的。再结合一个简单的凝聚参数调整准则,提出求解大规模凸min-max问题的凝聚光滑BFGS拟牛顿法。最后,我们分析算法的全局收敛性质及内迭代序列的收敛性质。数值结果表明,同带有截断策略或积极集策略的凝聚光滑算法相比较,有限存储格式的BFGS凝聚光滑算法具有非常明显的优势。4.在第四章中,我们提出渐进凝聚光滑算法来训练带有min和max逻辑算子的模糊神经网络。考虑感知机型的网络结构,应用凝聚光滑技术,构造网络评价函数的凝聚光滑函数,利用凝聚参数调整规则,提出渐进的二次凝聚光滑的梯度型模糊神经网络训练方法。我们讨论了原始min-max-min问题的最优性条件,探讨了原始优化问题同极小化渐进光滑问题之间的联系,以及算法的全局收敛性质。数值结果显示,与现有的光滑化算法相比较,所提算法有较高的计算效率,能够克服以往光滑算法训练网络时出现的算法过早停止或者训练过慢的问题,大大缓解以往算法求解过程中产生的病态现象,能更有效地训练网络。
其他文献
大学生是国家的希望、民族的未来,面临着在实现"两个一百年"奋斗目标、实现中国梦舞台上接力奋斗、建功立业的时代使命。新时代加强大学生爱国主义教育的有效路径应该从四个维度加以把握:理论维度,加深理论认知以增强国家认同;情感维度,营造共情情境以涵育爱国之情;文化维度,构建爱国主义文化以砥砺强国之志;实践维度,筑牢实践发展之基以笃定报国之行。
由于地区间人口年龄结构存在显著区别,老龄化对不同地区产业结构优化造成的影响也呈现出差异性特征。本文分别从理论模型和实证模型两个角度阐释不同区域老龄化和产业结构优化之间存在的非线性特征和空间溢出效应。通过建立门限面板模型和两区制空间杜宾模型发现,在低老龄化地区,老龄化对区域产业结构优化存在显著促进作用,而在老龄化程度较重的地区,老龄化则阻滞产业结构优化调整。同时劳动力流动对地区产业结构优化调整存在显
上部结构位于浪溅区的海洋结构物,如海洋平台、海上栈桥、开敞式码头以及海上高速公路桥等建筑物的安全性与经济性时常面临着波浪冲击的威胁。强大的波浪冲击会造成结构物的局部损坏或整体坍塌,影响海洋结构物的正常运营。近年来,对波浪冲击结构物过程的流场变化和力学特性的研究在海岸和近海工程领域越来越受到重视。波浪与结构物作用涉及复杂的气体-液体-固体相互作用,系统性的研究空气相在冲击过程中对结构物影响的试验还较
氧化铝基共晶自生复合陶瓷具有优异的力学性能、高温组织稳定性、抗氧化和抗腐蚀性能,被认为是能够在1600 K以上氧化气氛中长期稳定服役的理想高温结构材料。目前,关于共晶陶瓷的研究主要集中在制备技术开发方面(如,微拉法、边界外延生长法、激光加热浮流区法等),并偏重于工艺参数、组织结构及力学性能的研究,然而关于凝固机理及微观结构调控方面的研究较少。本文以A1203/Zr02(Y203)共晶陶瓷为研究对象
本发明公开了一种橡胶助剂废水资源化处理系统及其资源化处理方法,橡胶助剂废水资源化处理系统包括沉淀气浮池、MVR蒸发系统、树脂吸附解吸系统、Fenton氧化系统和出水池;沉淀气浮池、MVR蒸发系统、Fenton氧化系统和出水池上均设置有进口和出口,树脂吸附解吸系统上设
期刊
目的:探讨原发性支气管肺癌伴发焦虑情绪的发病危险因素。方法:对2020年8月至2020年12月于中国中医科学院广安门医院肿瘤科治疗的350例原发性支气管肺癌患者进行横断面调查。采用肺癌患者基本情况调查表、肺癌患者病史资料收集表、医院焦虑抑郁量表(HADS)采集数据,若患者焦虑情绪阳性,归为焦虑组,反之归为非焦虑组,使用SPSS 23.0进行统计学分析,探讨原发性支气管肺癌伴发焦虑情绪的发病率及危险
在数值逼近,几何造型,工程计算等领域中,样条是一种普遍适用的方法.这些领域的研究给多元样条方法的理论提出了新的问题.例如,对标准的NURBS方法引入局部修改算法以突破矩形网格的限制,完善新提出的T网格上的样条方法的理论基础,并进一步扩展和完善不规则网格剖分下的可局部加细的样条方法.对这些问题的分析并结合多元样条的方法,我们发现基于层次网格的自适应加细的样条方法具有很好的适用性并能得到满意的曲面拟合
组合矩阵是组合数学中的基本研究对象,本文研究了只具有实特征值的组合矩阵的若干解析性质,如矩阵的全正性、矩阵作为双指标序列的渐近正态性、矩阵的(p,q)-交替性等.主要研究内容分为以下三个部分.第一部分研究Delannoy三角的解析性质.Delannoy三角与经典的组合矩阵Pascal三角具有很多共性,它们的元素都具有丰富的组合解释.本部分首先研究了 Delannoy多项式的零点,证明了 Delan
优化方法是解决底层视觉问题的重要手段之一。它借助人们对视觉问题的经验知识建立优化目标函数,然后采用理论分析较为完善的数值迭代算法进行求解,但通常会因为目标函数过于复杂而求解困难。一些方法采用直接在迭代中插入深度网络结构建立可学习优化算法来避免复杂求解,但这种简单粗暴的结合导致算法的稳定性、收敛性等理论结果遭到破坏。本文瞄准该问题展开研究,通过精细的设计,提出了一系列具有稳定性或者收敛性分析的可学习
两阶段随机规划(Two Stage Stochastic Programs)是指第一阶段问题的决策可以通过第二阶段问题的最优决策来补偿的随机规划问题.这类问题在资源配置、金融经济等领域有着广泛的应用.因为实际问题中随机变量的概率测度很难精确获得,常常需要考虑近似模型,所以在设计算法求解这些问题时,渐近理论起着重要作用.另外,随机二次规划可以应用到很多问题中,尤其是经济金融问题.但是已经存在的两阶段