基于C-R微分算子的复值神经网络学习算法研究

来源 :哈尔滨工程大学 | 被引量 : 0次 | 上传用户:sunj2009
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
复值神经网络(CVNN)近些年已经得到了广泛的研究和应用,在工程、生物学和物理学等很多科学领域有着很大的应用价值。复值神经网络根据激活函数的不同,可以分为分离复值神经网络和全复值神经网络。分离复值神经网络,即激活函数是分离复函数的神经网络结构。这样虽然能保证神经元的输出是有界的,但激活函数不满足Cauchy-Riemann条件,所以没有复导数。全复值神经网络中的激活函数为解析函数,可以保证激活函数复可导性,便于计算。  在实际应用过程中,经常需要解决复变量实值函数的非线性优化问题。这些问题的最优化往往需要目标函数的一阶或二阶近似,以产生一个新的下降方向。然而,这种方法不能应用于复变量实值函数,因为这类函数关于复自变量是非解析的,即对于非解析函数,是没有Taylor级数展开式的。为了克服这个问题,目标函数通常被定义为关于复自变量实部和虚部的函数,利用标准实值最优化算法。然而,这种方法破坏了复数数据的内部结构关系。因此我们将原有的目标函数进行扩展,将复自变量与其共轭作为一个整体来进行分析。我们利用C-R微分算子,得到非解析函数的复值Taylor级数展开式,并利用复值Taylor级数展开式,我们推广现有的实值最优化算法。  本文研究了复变量实值函数的无约束最优化问题并将其应用于全复值神经网络之中。基于C-R微分算子,全面分析了复变量实值函数的广义复导数和Hessian矩阵的性质,得到非解析函数的复值Taylor展开式。旨在推导出复值最优化算法的迭代公式,并对算法的收敛性进行理论证明。本文研究了三种基于无约束最优化的复值学习算法。首先,介绍了复值牛顿法的推导过程。利用C-R微分算子,消除了Schwartz对称性对复值神经网络中激活函数选取的限制,并对复值牛顿法的收敛性进行了证明;然后,从复变量和实变量之间的映射关系出发,推导了拟牛顿方程和复值DFP算法迭代公式,证明了复值DFP算法的可行性和收敛性;最后,我们定义了复向量组关于矩阵共轭的概念,推导了复值共轭梯度法公式,对算法的收敛性进行了分析。在数值模拟中,将算法应用于复值神经网络,通过对比现有的复值梯度下降法,验证算法的收敛效果。
其他文献
本文主要研究了以下两类具有阻尼的波动方程的整体适定性问题(此处公式省略)  其中Ω∈?2为边界δΩ光滑的有界区域.  本文的第一部分研究了一类具强阻尼的波动方程(1)的初
图像分割是按照一定的标准把图像分成各具特性的区域并提取出感兴趣目标的技术和过程,它是对图像进行进一步分析、理解和识别的基础,是图像可视化、图像测量、图像压缩等许多
从噪声背景下提取多正弦信号的参数估计是信号处理与通信系统等领域当中的一个重要问题。目前,多正弦信号的参数估计已经应用于各个领域中,如控制理论、雷达应用、生物医学工
在信息处理领域中,通常将信息表示为高维空间中的向量,然后再进行后续的数据处理.然而在实际运用中,往往由于高维数据的维数太大而无法保证数据处理方法的健壮和效率.数据降
图的控制理论的发展丰富了图论中的最优化问题。本文主要通过对图的符号控制数性质的研究,得到图的符号控制数及一些特殊情况下图的符号控制数的上下界,给出一些图的笛卡尔积的
针对同一个分类问题,构建多个分类器并把多个分类器进行融合可以提高分类系统的分类正确率、改善系统的稳健性。模糊积分作为一种融合算子,因其能够同时表示各分类器的重要性和