论文部分内容阅读
神经网络已经是机器学习领域内最重要的方法之一,其具有分布式存储信息,并行协同处理信息和自组织学习处理信息等特点。论文以神经网络为对象,采用进化算法对神经网络的训练进行深入的研究,提出了基于进化算法的神经网络框架优化算法及神经网络集成训练算法,并对所提算法的原理、参数以及性能进行了深入的探讨。论文的主要工作有以下几方面。 首先,对神经网络框架优化方法进行了深入研究,提出了一种基于自适应的多局部搜索操作的混合算法。所提算法引入了一种自适应的多局部搜索操作机制,可同时对网络框架中的隐节点数量和权值大小进行微调。该多局部搜索操作机制提出了三种局部搜索操作,隐节点分裂,隐节点合并和一次BP算法迭代,并使用一种自适应的选择策略在三个局部搜索操作中选择有效的局部搜索操作对网络框架进行微调,该自适应策略是基于各局部搜索操作的搜索特征。同时,所提算法提出了一种新的突变策略,即个体的突变概率是根据其适应度值在种群中的排序所设定。该突变策略有助于平衡算法的全局搜索能力和局部搜索能力,从而减轻了进化过程中过早收敛的问题。所提算法在大量的分类数据集上进行测试,并与一些相关的方法进行比较,实验结果显示所提算法能设计一个泛化能力强的神经网络。 更进一步,对神经网络集成的训练方法进行了深入的研究,提出了一种基于小生境技术和自适应负相关学习的神经网络集成算法。负相关学习采用了同时训练方式对多个神经网络进行训练,并在每个网络的误差函数中加入一个相关惩罚项。然而,相关惩罚项参数λ的设定对神经网络集成的训练有着重要的影响。所提算法引入了一种自适应的负相关学习方法,在训练过程中自适应地调整惩罚项参数λ的值。这种自适应策略是基于一种新的差异度测量方式,该测量方式是基于个体在相同数据样本上的输出距离。同时,该新差异度测量方式考虑了网络种群的基因的多样性,并在每个网络计算差异度时增加一个适应度权值,进一步保证差异度测量的可靠性。此外,一种改进的动态小生境技术被引入所提算法中,用于维持进化过程中网络种群的多样性,保证集成中网络个体间的差异度。所提算法在大量的分类数据集上进行测试,并与一些相关的方法进行比较,实验结果显示所提算法能训练得到一个有效的神经网络集成。 最后,论文还对所研究领域的内容进行了进一步的探讨,提出了一些未来的研究方向,包括多局部搜索操作的选择策略的改进,有效的集成差异度测量方式的提出以及提高神经网络集成的训练效率。