【摘 要】
：
人工神经网络由于其超强的非线性映射能力,卓越的学习能力以及其广泛的用途,成为许多领域的研究热点.为了提高网络泛化能力,产生更经济的稀疏网络,克服梯度型神经网络学习算法收敛速度慢,容易过快陷入局部极小点,且易产生振荡现象的缺陷.为此本文主要研究带光滑L1/2正则项的批处理共轭梯度型学习方法.首先提出基于修正割线方程的共轭梯度法,并验证了该方法求解标准优化测试问题的有效性.其次提出双自适应参数的共轭梯
论文部分内容阅读
人工神经网络由于其超强的非线性映射能力,卓越的学习能力以及其广泛的用途,成为许多领域的研究热点.为了提高网络泛化能力,产生更经济的稀疏网络,克服梯度型神经网络学习算法收敛速度慢,容易过快陷入局部极小点,且易产生振荡现象的缺陷.为此本文主要研究带光滑L1/2正则项的批处理共轭梯度型学习方法.首先提出基于修正割线方程的共轭梯度法,并验证了该方法求解标准优化测试问题的有效性.其次提出双自适应参数的共轭梯度法,并对XOR问题搭建神经网络进行测试来验证算法的有效性.然后将双自适应参数的混合共轭梯度法引入BP前馈神经网络训练,提出带光滑L1/2正则项的共轭梯度学习方法.最后针对零阶Takagi—Sugeno模糊推理系统,提出带光滑L1/2正则项的常值学习率共轭梯度学习方法.本文对于这些方法均进行了收敛性分析,它们在数值结果上也展示出了不俗表现.本文的主要内容概括如下:1.第一章绪论部分回顾了神经网络的相关背景知识,介绍了本文的研究目的和研究意义,提出了本文的研究内容.2.第二章针对Dai-Yuan（DY）共轭梯度方法具有优良的收敛性质但数值表现一般的特点,结合修正的割线方程,改进某类参数DY型共轭梯度法,提出了双参数DY型共轭梯度算法.结合Wolfe线搜索,算法总能产生下降的搜索方向.由于算法充分的利用修正割线方程中包含的梯度信息和函数值的信息,提高了目标函数二阶曲率的近似精度,在参数选择为恰当常数的条件下,算法表现出优异的数值性能.在合理的假设下,证明了该方法的全局收敛性.3.第三章主要分析双参数共轭梯度方法中参数的自适应问题.基于在最优解附近选择共轭梯度方向为拟牛顿方向这一假定,充分利用已经计算得到的梯度、搜索方向和学习率等信息来设计自适应的参数,并利用强Wolfe线搜索来计算学习率,算法产生新的搜索方向既为下降方向又具有拟牛顿性质.对于XOR问题搭建神经网络进行数值实验,结果显示双自适应参数共轭梯度法明显改善了 DY框架下的其他三个参数共轭梯度法,并且与经典的梯度算法和共轭梯度算法相比较,同样显示了良好的性能.4.第四章主要研究将双自适应参数共轭梯度方法用于前馈神经网络训练,并用于分类任务.我们依据DY框架下的共轭梯度混合策略,提出了光滑L1/2正则化双自适应参数的混合共轭梯度学习方法,进一步改善学习算法的性能.该方法利用强Wolfe条件来计算学习率,使得该混合算法产生的搜索方向依然具有拟牛顿性和充分下降性质.如在UCI数据集中五个基准分类问题的数值实验所示,与其他经典的共轭梯度训练算法相比,新的学习算法具有与其他算法大致相同或更好的学习能力,但同时又具有更好的泛化性、网络稀疏性和更高的稳健性.在合理的假设下,证明了该方法的全局收敛性.5.第五章针对零阶Takagi-Sugeno模糊推理系统,提出一种具有光滑L1/2正则项的共轭梯度方法来训练模糊神经网络,得到了较为经济的稀疏网络结构.该方法中,采用了常值学习率,以此来降低计算成本,并提高学习效率.数值实验表明,该算法具有较强的稀疏性和较快的学习效率.此外,在合理的假设下,得到该方法的全局收敛性结果.
其他文献
6月28日,江南公交在沙洲停车场举行了2019年度安全月主题活动暨防恐防暴应急处置、消防演练,除常规油盆灭火项目以外,"车危仪"作为技防新设备首次参与演练。从7月开始,南京江南公交在1路、2路、3路、33路等主城8条线路上陆续安装221台"车危仪"。
重庆市荣昌县有效运用"加、减、乘、除"四方面,积极落实安全防护措施,筑牢安全屏障,实现市级平安校园创建率达100%、校园安全责任零事故的目标。建制度、抓落实,安全管理体系更"加"完善为进一步强化安全工作"一岗双责"制度,重庆市荣昌县建立起"两重两抓"的管理机制。一是重责任抓监管。荣昌县实行分级管理、逐层负责、全员参与的划片包干制,从教委分管领导至学校任课教师一级均有明确的岗位安全职责;采取了
岩土材料作为一种天然的孔隙材料,力学性质十分复杂,难以用普适性的理论来描述其强度和变形性质。本文从强度和变形这两个岩土力学中最基本的问题入手,通过试验研究了岩土材料在复杂应力状态下的强度特征和弹性参数的变化规律。首先是发展了岩土材料的保罗莫尔库仑准则。该强度准则包含全部三个主应力和三个强度参数:三轴压缩和伸长内摩擦角φc、φe和等向抗拉强度V0,物理意义明确。提出了一种平面拟合方法来确定强度参数,
微热管（Micro Heat Pipe,MHP）是一种常用的被动热管理方法,广泛应用于半导体器件中。本文采用微机电系统（MEMS）方法设计和制作了各种硅基微热管,对其传热性能进行了研究。微热管的基本传热依赖于两种机制:工质的相变传热和通过固体壁的热传导。因此,工质和毛细管结构是微热管工作性能的两个重要影响因素。微热管中的微槽起到了毛细结构的作用,主要是产生毛细泵送压力,使冷凝液返回蒸发段。因此,微
在最近几年,神经网络已经被广泛的应用于各种回归和分类问题。通过将正则项加入到神经网络的学习过程中,研究者提出了许多正则化技术来处理与神经网络相关的问题。其中,两种经典的正则项（惩罚项）分别是运用L2范数和运用L1或L1/2范数。L2范数的功能主要是获得有界的网络权值并提高网络的泛化能力。而L1或L1/2范数的功能主要是使网络具有稀疏性,以便减少神经网络使用的节点和权值,与此同时并不引起对网络效率的
无线传感器网络（WSN）在民用和军用两方面都具有广泛的应用,例如智能医疗,智能环境监测,敏感位置的监测以及非目标物体存在检测。无线传感器网络的这种高层次的植入需要先进的设计和先进的管理系统来取得成功。然而,近年来传统的WSN在工业应用领域的发展使得研究人员面临传统无线传感器网络中传感器异构性和应用依赖性的资源约束问题的挑战。在无线传感器网络中,在较长网络周期内成功传输数据的性能取决于部署的传感器节
均衡约束数学规划问题是指带有参数变分不等式或参数广义方程约束的优化问题.这类问题在工程设计、经济均衡、交通科学、数据挖掘等许多领域都有着广泛的应用.由于在任何可行点处非线性规划中的大多数约束规范都失效,比如Mangasarian-Fromovitz约束规范,所以这类问题在理论分析和算法设计上都会引起很多问题.因此,通常采用专门的算法来处理它,其中正则化方法就是一类显著的算法.本论文研究了带有互补约
统计过程控制（SPC）是一系列通过统计分析来监控制造和非制造过程的方法。过程控制是用来提高产品和服务质量的连续的过程。波动是一个过程的重要部分,并且为了提高过程的质量,我们不能忽视这些波动。所有生产过程都会受波动的影响。这些波动可以分为两类:普遍原因引起的波动和特殊原因引起的波动。及时监测由特殊原因引起的波动对任何过程的执行都有重要作用。在检查产品是否符合他们所设计的要求时,控制图特别有用。控制图
宏观磁流体不稳定性是等离子体大破裂的主要原因之一。例如,由等离子体压强梯度、等离子体电流以及高能量粒子（Energetic particles,EPs）驱动的电阻壁模（Resistive Wall Mode,RWM）、环向阿尔芬本征模（Toroidal Alfvén Eigenmode,TAE）等。RWM 不稳定性会限制等离子体高β的获得,从而限制能量增益因子的值。由快粒子驱动的TAE不稳定性则会
车载社交网络（VSN）是一个新兴的网络通信研究领域,其相关概念是从车载自组织网络（VANET）和移动社交网络（MSN）这两个不同的学科借鉴得到的。这一新兴网络为内容共享,数据广播和传递服务提供了新的研究方向。基于社交网络分析（SNA）的应用和方法,VSN可以利用网络实体的相互依赖性来进行今后应用的开发。VSN包含了具有相似目标的车辆,乘客和车辆虚拟社区中具有类似目标,兴趣或移动模式的通勤者的社交关