论文部分内容阅读
本论文主要研究了三类不同的复数值神经网络的训练算法。这三类复数值神经网络分别为前向网络中的多层感知器网络和径向基网络以及递归神经网络。经过深入研究,我们分别对这三类复数值神经网络提出了有效的训练算法,并用于解决模式识别中的一些实际问题。对于复数值前向神经网络,复数值反向传播算法(Backpropagation algorithm,BP)是一种常用的训练算法。但是,当采用激励函数是分裂式S型函数时,存在着饱和区域。饱和区域的存在严重影响了BP算法的训练速度,甚至导致复数值训练失败。针对这一问题,我们提出了基于可调整增益参数的复数值反向传播算法。在训练的过程中,根据输出误差调整增益参数,使得激励函数能够自动调整饱和区域,从而避免饱和区域影响训练速度。隐层神经元中心的选择是复数值径向基函数(Radial Basis Function,RBF)神经网络训练算法中一个非常重要的问题。最近提出的最大宽度算法是根据某一类样本到其他类样本的距离确定中心。因为这种算法在选取中心时忽略了同一类样本相互之间的距离关系,存在着一些不足,从而影响到了算法的性能。针对这一不足,我们提出了一个新的隐层神经元中心的选取算法。在该算法中,我们不仅考虑不同类样本之间的距离关系,而且将同一类样本之间的相互距离也考虑在内。计算这两种距离的比率,将其作为选择隐层神经元中心的依据。本论文还研究了复数值递归神经网络的训练算法。据我们所知,目前还没有将复数值Levenberg-Marquardt(LM)算法运用于复数值递归神经网络的训练中。因此,我们提出使用复数值LM算法对复数值Jordan型递归神经网络进行训练。Jordan型网络以前向网络结构为主,带有反馈连接。这种结构既保留了前一次网络的输出状态,又不会使训练过于复杂。复数值LM算法利用自适应调整阻尼因子,加快训练的收敛速度。为了验证本论文提出的复数值神经网络训练算法的有效性,我们分别将这些算法用于解决手势识别问题以及UCI中一些公共数据集的分类问题。实验结果表明,本论文提出的复数值神经网络训练算法能取得更高的识别正确率。