复数值神经网络的自适应学习算法

来源 :苏州大学 | 被引量 : 0次 | 上传用户:jimmil
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,由于具有功能强大和快速学习等优势以及在多个领域上的成功表现,复数值神经网络已经引起了人们的广泛关注。一些用于复数值神经网络训练的学习算法也相继被提出。其中,复数值梯度下降算法和复数值L-BFGS(CL-BFGS)算法是最为常用的两种算法。然而,由于采用负梯度作为搜索方向,复数值梯度下降算法容易受鞍点的影响,收敛速度较慢,容易陷入局部极小值。作为一类被广泛使用的复数值拟牛顿算法,CL-BFGS算法在每次迭代时需要保存m对向量组计算海塞矩阵的逆。相较于其它拟牛顿算法,CL-BFGS算法能够利用较小的内存达到快速而稳定的收敛。但是,CL-BFGS算法中记忆尺度m的选择对算法性能的影响较大。在大多数情况下,都是基于以往的经验来选择特定的m,这导致了 CL-BFGS算法的性能受人为因素影响较大。因此,本论文主要研究复数值神经网络的训练问题,在复数值梯度下降算法和CL-BFGS算法的基础上,提出了几种适合复数值神经网络训练的自适应学习算法。首先,本论文提出了一种自适应复步长调整算法。通过引入尺度因子和旋转因子分别对复步长的幅度和相位进行调整,使得在每次迭代时都能找到更合适的搜索方向。实验结果表明,一旦陷入鞍点附近的区域,我们提出的算法能够使得学习迅速逃离鞍点,从而以收敛速度更快得到更加精确的解。其次,为了避免记忆尺度的选择对CL-BFGS算法性能的影响,本论文提出了基于自适应混合方向的CL-BFGS算法(CL-BFGS-HD算法)。该算法在迭代过程中通过强化最新曲率信息的利用构建不同的混合搜索方向,然后结合复数值线搜方法计算相应的步长,最后采用基于训练误差的选择机制自适应地选择合理的搜索方向和步长,从而提升CL-BFGS算法的性能。最后,为了更加有效地解决CL-BFGS算法中记忆尺度选择困难的问题,本论文提出了自适应记忆尺度的复数值L-BFGS算法(ACL-BFGS算法)。该算法的基本思想是在每次迭代时从一个可变集合{1,2,…,M}中选择合适的记忆尺度m。对固定的M,借助于多步拟牛顿法寻找最优的矩阵的记忆尺度m,使得计算得到的拟海塞矩阵尽可能逼近海塞矩阵。同时,为了降低计算量并取得更好的性能,根据以往迭代时选择的记忆尺度的变化趋势,提出了M的自适应调整策略。此外,为了进一步提升ACL-BFGS算法的性能,在每次迭代时,我们选择多个记忆尺度来构建搜索方向,从而实现复数值神经网络的高效学习。为了验证本论文提出的三种自适应学习算法的有效性,本论文给出了在实数值模式分类、复函数逼近以及信道均衡等实际问题上的实验结果。结果表明,在实数值模式分类问题上,相较于原来的算法,本论文提出的算法测试准确率至少提高了0.6%。而在函数逼近和信道均衡问题上,提出的算法收敛速度提升了大约10%。
其他文献
多体系统的量子临界现象是凝聚态物理研究中的一个重要部分。随着超冷原子、离子阱、金刚石—氮空位色心自旋和超导电路等诸实验技术的发展,我们可以实现对多体系统的能级结构操纵,从而帮助我们更好地研究理论模型。而当多体系统发生量子相变时,在相变点附近,一些可观测物理量会表现诸如标度行为的奇异性现象,这引起了研究者们的广泛关注。由于多体系统本身的复杂性,研究起来比较困难,因此一个可以精确求解的量子多体模型就显
学位
在现代语音通信系统中,为了远距离、高保真传输语音信号,需要通过语音编码来实现模拟信号到数字信号的转换。脉冲编码调制(Pulse Code Modulation,PCM)技术可以将不同语音格式转换为中间编码,在语音编解码中得到了广泛应用。随着集成电路技术不断提高,PCM编解码芯片向高性能、小型化方向发展。在PCM编解码芯片中,滤波器的性能直接决定芯片对信号的处理能力,因此迫切需要研发易于集成的高性能
学位
体育教学目标在学校体育教学实践中发挥引领性作用,是推动新时代体育课程改革与发展的关键要素,但是目前初中体育教学目标尚存长期以来还未厘清和完成的现实问题。以2017年《普通高中体育与健康课程标准》为参照,从理念层面、特征层面、内容层面剖析新时期学校体育教学目标的应然之态。阐明初中体育教学目标的价值导向、本质属性、内容结构与发展初中生体育学科核心素养之间存在现实偏离。通过树立“立德树人”“健康第一”“
期刊
事件可信度识别指的是相关源对于句子或者篇章中事件是否发生的判断,是自然语言处理的基础任务之一。本文在DLEF语料库上在句子级以及篇章级两个维度上进行了中文事件可信度识别的研究。本文的研究主要包括下面三个方面:(1)基于情感线索词和时间词的句子级事件可信度识别针对之前中文句子级事件可信度研究中,忽略了情感线索词以及时间词的问题,本章提出了基于线索词的句子级事件可信度识别方法。该方法将各种有效线索词到
学位
背景:环肺静脉前庭隔离(Pulmonary vein antrum isolation,PVAI)是心房颤动(简称房颤)射频消融(Radiofrequency catheter ablation,RFCA)的基本术式。近年来发展的心腔内超声(Intracardiac echocardiography,ICE)技术可精准定位肺静脉前庭。消融指数(Ablation index,AI)可反映透壁损伤程度
学位
车路协同是智能交通系统的重要研究方向,先进传感器已经成为了智慧道路基础设施不可或缺的一部分。激光雷达是一种新兴的空间测距传感器,具有探测距离远、测量精度高、全天候工作等优点,已成为未来交通监控设备的有力选择。本文围绕基于路侧激光雷达的交通目标识别——这一智能交通系统中的基础课题展开研究。为此,本文搭建了路侧激光雷达监控系统,对其采集的真实交通点云数据进行细致分析,并设计了包含检测与分类两步骤的点云
学位
REITs是指通过信托、公司或社团组织形式收集资金并且投资在房地产项目,由专门的机构进行经营,并将收益分给投资者的一种投资工具。以往REITs产品主要投资于房地产市场,它既有房地产市场特征,又可以上市交易,同时它也为中小投资者投资房地产提供了途径。现在REITs产品也可投资于其它基础设施领域。2021年3月13日在我国正式发布的《国民经济和社会发展第十四个五年规划和2035年远景目标纲要》中明确提
学位
随着交通运输业的不断发展,轨道交通车辆、大型工程车辆等载运工具的集成度和复杂度显著提升。载运工具中任何零部件出现问题,都可能影响机械系统的正常运行。轴承和齿轮等旋转部件作为其中转化运动和传递功率的关键零部件,易出现疲劳损伤,降低系统运行稳定性,导致故障的发生,甚至出现严重的安全事故。因此,开展高效智能的旋转部件状态监测与故障诊断技术研究,对保障轨道车辆、工程车辆等安全运行具有极其重要的意义。本文以
学位
数字经济时代,如何以预算管理数字化转型为抓手逐步实现财务的全面数字化变革,是目前集团企业亟待解决的难题。文章以S集团为研究对象,深入探析集团企业预算管理的弊端和优化路径。研究发现,数字技术在预算组织再造和预算流程优化方面有极强的适配性,能够帮助集团企业有针对性地扫清预算管理障碍,从而实现预算管理目标。文章创新性地构建了数字化预算“赋能”模型,从理论层面揭示了数字技术对预算管理价值实现的作用;评析S
期刊
把学生培养成为身心健康的全面发展型的人才,必须加强体育教学与健康教育的融合。初中阶段正是学生身体发育生长的黄金时期,实现体育与健康教育的融合显得尤其必要。教师要抓住机体生理结构的认识、健康心理知识的传授、科学行为规范的指导三个方面的融合内容,运用运动感知、挫折抗压、目标锚定、精神熏陶等方法来促进与加强体育教学与健康教育的融合,使初中学生拥有健康的体魄和健全的心理。
期刊