论文部分内容阅读
分类是人类活动中最常见的决策任务之一。当前,用于分类的神经网络算法及模型已经广泛应用于科学、工业和医学等不同领域中。尽管各种神经网络算法及模型已经取得了较大发展,但由于算法及模型的差异性,以及不同的非线性问题所呈现出的多样性和复杂性,传统的神经网络分类器在某些复杂问题上其网络性能往往有限。典型的深度学习中的卷积神经网络,在网络结构上增加多个不同类型的隐藏层,可以实现对复杂问题的分类处理。一般的做法是先将输入样本经过卷积核的映射,其输出经过一系列的处理后,再与多层感知器(MLP)相级联,然后利用反向传播(BP)算法实现各层权值的更新。然而,将径向基核函数(RBF)与BP网络相级联处理,当前还没有很好地研究。针对有监督分类问题,本文以构造优化的神经网络分类器和相匹配的学习算法为实现目标,主要围绕RBF网络结构及核参数的优化选取、RBF混合结构神经网络分类器设计以及核整体划分思想的分类方法这几项内容展开,以完成不同非线性问题的优化分类。在研究过程中,取得了以下研究成果:1.提出一种前置核的RBF-BP混合结构神经网络。将RBF网络结构与BP网络结构进行级联调整,其中原有的RBF网络隐藏层的输出进行一定处理后与BP网络的隐藏层相级联。在该网络分类器当中,RBF网络用于实现原始样本的局部化核映射,BP网络用于非线性分类。通过这种方式,可以将RBF网络的局部非线性映射能力与BP网络的全局非线性分类能力相结合。实验结果表明,本文所提网络结构可以改善单一的RBF网络及BP网络的分类性能,同时降低了对RBF网络及BP网络隐节点参数选择的依赖。2.提出一种核数自适应学习的RBF-BP混合结构神经网络分类器。充分利用了每类训练样本的空间分布信息,通过引入势函数密度聚类的方式来度量样本空间不同区域的稀疏程度,从而建立相应的RBF隐节点完成对样本空间不同区域的覆盖,可以根据样本空间的分布情况自动增量构建RBF网络隐节点。实验结果表明,该方法可以实现对前置核RBF-BP神经网络分类器中RBF网络隐节点个数及中心的自动估计,并具有较好的分类性能。3.提出一种异类斥力核优化的RBF-BP混合结构神经网络分类器。在所提势函数密度聚类生成初始RBF网络隐节点的基础上,进一步将每个RBF网络隐节点所覆盖区域的邻域信息考虑进来,设计了面向中心的异类样本排斥力模型,完成对RBF网络部分隐节点中心、核宽以及隐节点个数的优化调整,并最终建立起整个网络模型的优化学习算法。理论上分析并证明了样本经过核结构自适应RBF网络后,其可分性增强的量化条件,阐明了核结构自适应RBF网络的优越性。实验结果表明,该方法具有良好的分类能力,尤其当样本空间维数较低且训练样本个数充分的基础上,该方法表现出特有的优势。4.提出一种核整体划分思想的RBF-BP混合结构神经网络分类器。该方法以RBF核作为整体的训练学习目标,从机理上阐述了核整体学习划分的优点。设计了RBF子核内部样本生成及优化筛选机制,以实现对RBF子核整体划分思想的逼近。在生成合适的样本集规模的基础上,再利用已有的网络分类器进行训练分类。实验表明,该方法可以有效改善训练样本集规模较小或维数过高导致的样本空间分布稀疏问题,提高了网络分类器的鲁棒性和泛化能力。5.提出一种核结构自适应的RBF-ELM混合神经网络分类器。该方法是对核自适应RBF混合结构神经网络分类器的推广。通过将异类斥力核优化的RBF网络与ELM网络相级联,其中异类斥力核优化的RBF网络用于实现样本空间不同区域的局部化核映射,ELM网络用于RBF核映射后样本的非线性分类,由此构成一种结构互补的优化网络模型。给出了核结构自适应的RBF-ELM混合神经网络分类器算法步骤。对异类斥力核优化的RBF网络可分性增强的量化条件进行了实验验证。多个数据集上的实验表明,该方法可以明显改善ELM网络的分类性能。