论文部分内容阅读
前馈神经网络在实际当中得到了广泛的应用,但是其模型选择仍是神经网络研究领域亟待解决的问题,至今仍无严格的理论指导和统一的选取准则。同时,随着新理论和新算法的不断出现,单个前馈神经网络在分类(或函数逼近)问题上越来越难以取得更高的性能。因此,为了获得更高的分类准确率(或逼近精度),对不同类型的前馈神经网络进行混合不失为一种切实可行的办法。本文从模型选择和混合策略两个角度对前馈神经网络进行了研究。主要内容及结果如下:
①基于信息论中的互信息,为多层感知器提出了一种两阶段构造方法。这种构造方法能够自动剔除不相关的输入节点和冗余的隐含节点。通过实验验证了它的有效性,且与Engelbrecht所提出的基于敏感度分析的结构选取方法对比表明,这种方法在基准数据集上能够取得更强的泛化能力。另外,研究表明:对于不同区间或同一区间上分布不同的样本,基于互信息的方法能够提供比基于敏感度分析的方法更为准确的相关度:当输入特征之间函数相关时,基于互信息的方法则比基于敏感度分析的方法更为有效;
②提出了一种训练椭球基函数神经网络的混合学习算法。实验结果表明此算法能够提高传统的径向基函数神经网络的分类能力。与使用相同学习策略的径向基函数神经网络相比,在达到相同(或者更高)的测试准确率要求下,椭球基函数神经网络需要更少的训练次数和训练时间;
③从没有类别个数信息的无类标数据分类问题出发,提出了一个基于自适应模糊c均值的混合专家模型,并通过实验验证了其有效性。此外,将模型推广到了半监督分类情况并给出了相应的模型构造方法,与Fung和Mangasarian所提出的CVS3VM模型相比,此拓展方法可以产生更佳的分类性能;
④提出了高斯一契比雪夫神经网络模型。详细阐述了训练该模型的误差反传算法,并通过实验表明了它能够改善高斯神经网络的泛化能力、逼近能力和抗噪声能力。在相同的拓扑结构和参数设置下,高斯一契比雪夫神经网络能比Gauss-Sigmoid神经网络更快更准确地逼近相同的函数。