【摘 要】
：
复值神经网络是一类从实数域扩展到复数域的神经网络。复值超限学习机是其中一种有效的学习算法,它比复值BP神经网络算法收敛速度更快,但是为了达到与复值BP神经网络算法相当的性能需要更多的隐节点。USA算法是介于BP算法和ELM算法之间的一种有效算法,用于训练单隐层实值前馈神经网络,USA算法的性能优于ELM算法和BP算法。受USA算法的启发,结合复值ELM和复值BP算法,根据激活方式不同,本文提出了两
论文部分内容阅读
复值神经网络是一类从实数域扩展到复数域的神经网络。复值超限学习机是其中一种有效的学习算法,它比复值BP神经网络算法收敛速度更快,但是为了达到与复值BP神经网络算法相当的性能需要更多的隐节点。USA算法是介于BP算法和ELM算法之间的一种有效算法,用于训练单隐层实值前馈神经网络,USA算法的性能优于ELM算法和BP算法。受USA算法的启发,结合复值ELM和复值BP算法,根据激活方式不同,本文提出了两种依赖输入权值的复值神经网络算法去训练复值神经网络,它有效解决了网络训练过程中激活函数的非解析问题。借助Wirtinger微积分和泰勒展开,证明了依赖输入权值的全复值神经网络学习算法在训练迭代中的误差函数是单调递减的,并且误差函数关于权值的梯度趋于零。此外,数值模拟有效地说明了算法的优异性能,同时也验证了理论结果。本文主要工作如下:1.提出了一种依赖输入权值的分离复神经网络算法来训练分离复值神经网络。训练过程中,输入权值通过梯度下降法更新,通过两个实值的激活函数分别激活隐层输入的实部和虚部,输出权值看成是输入权值的一个函数,通过广义逆来计算。该算法解决了激活函数在复数域上解析性与有界性的冲突问题;实验证明,该算法比CELM和CBP算法具有更好的泛化能力以及更紧凑的结构体系。2.基于Wirtinger微积分,提出了一种依赖输入权值的全复神经网络算法来训练全复值神经网络。训练过程中,只有输入权值是未知参数,通过梯度下降法迭代更新,通过全复值的激活函数激活隐层的输入矩阵。输出权值依赖输入权值序列,存在一种严格的非线性关系。该算法严格意义上表示了真实的复梯度。3.严格证明了基于Wirtinger微积分的依赖输入权值的全复神经网络学习算法的收敛性,从理论的角度保证了该算法的收敛性。4.针对基于Wirtinger微积分的依赖输入权值的全复神经网络学习算法,选择回归问题和分类问题进行数值实验,对不同算法的均方误差进行对比,验证了算法的合理性和有效性。
其他文献
天然气水合物作为一种有广阔发展前景的新型非常规能源,能量密度高、可采规模大、分布范围广,被称为“二十一世纪最清洁的能源”。我国的天然气水合物资源总量极其丰富,作为重要的战略资源,天然气水合物开发前景广泛。因此,对高分辨率天然气水合物物探传感器进行设计与研究对天然气水合物的资源利用具有十分重大的意义和价值。金属氧化物半导体式气体传感器与其它类型气体传感器相比,具有灵敏度高、响应-恢复时间快、制备工艺
脉冲中子元素测井是一种利用脉冲中子源产生的快中子进入地层,通过测量中子与地层元素原子核作用放出的伽马射线,得到元素含量进而确定矿物含量的先进核测井技术,广泛应用于复杂储层岩性识别、非常规储层评价等方面。CNET是中国石油大学(华东)自主研发设计的一支三探测器多功能脉冲中子能谱测井仪,上一代采集系统采用传统模拟核能谱测量方式,存在着系统死时间较长、系统分辨率较低等问题。本文将数字多道脉冲幅度分析理论
柔性装置广泛存在于存储器的磁头、机器人的手臂、内燃机的传动轴等日常生活和工业领域,柔性装置的负载转速变化容易引起传动轴的疲劳、振动等,不仅影响设备的工作效率还会增加安全隐患。本课题将柔性系统简化为三质量扭转系统,分析和建立自抗扰控制器,利用自抗扰控制器对三质量扭转系统进行速度控制,从而抑制三质量扭转系统在转动过程中扰动和速度振荡等问题。本文首先对自抗扰控制器的跟踪微分器、扩张状态观测器、非线性误差
有杆抽油系统是石油工业中最主要的提液方式,普通钢制抽油杆由于自重大、能耗高、活塞效应严重、不耐腐蚀而失效越来越频繁,不能满足油田的生产要求,而碳纤维抽油杆所具有的高强度、低密度、耐腐蚀等优点使其在油气生产中发挥越来越重要的作用。如何准确掌握抽油系统的工作状况并有效地进行故障诊断和预测对提高油田的效益和产能有重要的作用,也是碳纤维杆抽油系统研究与应用中的关键问题。示功图中包含丰富的信息,通过测试和分
由于工业自动化的需要,机械手被越来越广泛的应用于机械制造,冶金等领域。与此同时,传统机械手的各种缺点也暴露了出来,其柔顺性、交互性和安全性较差,导致了其在外形多变、易碎的物体抓取,残疾人康复辅助装置的应用当中都具有一定的局限性,从而限制了机械手的应用。针对传统机械手的上述缺点,本文研究了摩擦增强型软体机械手,该软体机械手柔顺性好,交互性和安全性高,并且其上还附有仿生纳米纤维阵列薄膜,从而具有更强的
大数据时代的到来以及深度学习的兴起使得图像描述成为了人工智能热门研究方向。传统的方法虽然在某种程度上能够完成基本的描述任务,但是在准确度丰富度上还存在一些不足。此外,它们只是利用了单一的图像属性或者图像的视觉特征,对于它们之间的关联性以及不同模态特征之间的互补性并没有进行详细的研究。为此,本文提出了两种图像描述的改进方法。一是基于视觉注意力与用户注意力社交图像描述方法。该方法意在利用社交图像中用户
本文着重研究了基于递归神经网络模型的共轭梯度法与广义Armijo搜索技术相结合的算法:第一章简要介绍了共轭梯度法的发展现状、神经网络的相关背景知识,并且总结了基于递归神经网络模型的算法研究现状.第二章基于Elman模型,结合广义Armijo搜索技术,设计了一种新的共轭梯度算法.该算法修正了RMFI共轭梯度算法,更新了共轭参数,使得新算法每次都能产生一个充分下降的搜索方向.此外,本章证明了基于Elm
人工神经网络在信号预测、函数逼近、自动控制以及模式识别等领域都具有广泛的应用,具有万能逼近能力的单隐层前馈神经网络是神经网络研究的重点。基于最速下降法的反向传播算法是训练单隐层前馈神经网络的流行算法之一,但它有收敛速度慢、耗时较长等缺点。基于存储量小和收敛速度快等优点,共轭梯度法目前已经成为训练神经网络的一种有效算法。结合单隐层实值前馈神经网络模型,近年来有研究者提出了基于共轭梯度法的实值神经网络
随着互联网技术的快速发展,每天都会产生海量的文本数据。文本分类作为自然语言处理和网络信息挖掘的基础,在文本信息处理中有着重要地位。人工文本分类方法和传统的机器学习文本分类方法难以满足目前对文本分类效率和精度的要求。随着深度学习在自然语言处理中的应用,深度学习方法为文本分类问题提供了新的解决途径。本文在研究总结文本向量表示技术和深度学习模型卷积神经网络原理的基础上,对运用卷积神经网络模型解决文本分类
目前国内区块链应用推广中,浮夸的商业化气息太重,造成一些不成熟的东西被过度吹捧。只是搞了些超级账本、以太坊、比特币就认为是在做区块链的,不符合习近平总书记的要求。区块链要先有基础设施,再要与产业深度融合,具体到金融、民生、政务等"百业可用",最后还必须达到一个颠覆性的突破。