论文部分内容阅读
神经网络集成是目前国际机器学习和神经计算学界的一个相当活跃的研究热点,设计出更有效的神经网络集成的实现方法,来提高神经网络集成模型的泛化能力,具有很重要的理论和现实意义,它不仅有助于科学家对机器学习和神经计算的深入研究,还有助于普通工程技术人员利用神经网络解决真实世界中的问题。本文把神经网络集成用于分类问题,主要是针对神经网络集成实现方法的研究,研究目标是通过对神经网络集成算法进行深入分析,设计出泛化能力好的神经网络集成模型。本文的主要工作和创新点如下:(1)在个体网络生成阶段引入了特征选择技术。提出了一种基于交叉验证和ReliefF的神经网络集成学习算法(CVRNNEn算法),首先利用交叉验证选取个体网络的训练数据集,然后再对每个训练集进行特征选择,来降低数据集的规模,减少相关性低的特征的对个体网络预测结果的干扰,提高了个体网络的预测精度和个体网络之间的差异度。算法代码在weka3.5.6平台上实现,通过在UCI数据集上仿真实验,和RandomSubSpace算法、Bagging算法以及单个RBF网络的预测结果进行比较,得出CVRNNEn算法预测性能最优,从实验上证实了算法在预测性能上的优势;(2)基于周志华提出的选择性神经网络集成的思想,以及对目前典型的几种选择性神经网络集成算法的综合分析,提出一种基于CLIQUE(维增长子空间聚类方法-Clustering In QUEst )算法的选择性神经网络集成(简称CLIQUE_SEN),首先利用Bagging算法训练出候选个体网络,然后利用CLIQUE算法将候选网络个体根据相互之间“差异度”的不同聚类为若干簇,再利用Lazarevic和Obradoric提出的思路去除每一簇中的冗余个体网络,最后用剩余的个体网络参加构建集成模型。算法代码在Matlab平台上实现,并通过在UCI数据集上仿真实验,实验结果表明该算法利用较少的个体网络得到了比利用全部个体网络构建集成模型更好的性能,且用较短的运行时间得到比其他同类算法相当的预测精度。