论文部分内容阅读
复值神经网络(CVNN)近些年已经得到了广泛的研究和应用,在工程、生物学和物理学等很多科学领域有着很大的应用价值。复值神经网络根据激活函数的不同,可以分为分离复值神经网络和全复值神经网络。分离复值神经网络,即激活函数是分离复函数的神经网络结构。这样虽然能保证神经元的输出是有界的,但激活函数不满足Cauchy-Riemann条件,所以没有复导数。全复值神经网络中的激活函数为解析函数,可以保证激活函数复可导性,便于计算。 在实际应用过程中,经常需要解决复变量实值函数的非线性优化问题。这些问题的最优化往往需要目标函数的一阶或二阶近似,以产生一个新的下降方向。然而,这种方法不能应用于复变量实值函数,因为这类函数关于复自变量是非解析的,即对于非解析函数,是没有Taylor级数展开式的。为了克服这个问题,目标函数通常被定义为关于复自变量实部和虚部的函数,利用标准实值最优化算法。然而,这种方法破坏了复数数据的内部结构关系。因此我们将原有的目标函数进行扩展,将复自变量与其共轭作为一个整体来进行分析。我们利用C-R微分算子,得到非解析函数的复值Taylor级数展开式,并利用复值Taylor级数展开式,我们推广现有的实值最优化算法。 本文研究了复变量实值函数的无约束最优化问题并将其应用于全复值神经网络之中。基于C-R微分算子,全面分析了复变量实值函数的广义复导数和Hessian矩阵的性质,得到非解析函数的复值Taylor展开式。旨在推导出复值最优化算法的迭代公式,并对算法的收敛性进行理论证明。本文研究了三种基于无约束最优化的复值学习算法。首先,介绍了复值牛顿法的推导过程。利用C-R微分算子,消除了Schwartz对称性对复值神经网络中激活函数选取的限制,并对复值牛顿法的收敛性进行了证明;然后,从复变量和实变量之间的映射关系出发,推导了拟牛顿方程和复值DFP算法迭代公式,证明了复值DFP算法的可行性和收敛性;最后,我们定义了复向量组关于矩阵共轭的概念,推导了复值共轭梯度法公式,对算法的收敛性进行了分析。在数值模拟中,将算法应用于复值神经网络,通过对比现有的复值梯度下降法,验证算法的收敛效果。