论文部分内容阅读
基于统计学习理论的支持向量机(Support Vector Machine,SVM)技术具有坚实的数学理论基础,在模型推广能力,全局最优,非线性处理等方面均表现突出,已成为机器学习领域最活跃的研究重点之一。本文以传统的支持向量机和新兴的基于非平衡双超平面的支持向量机为主要研究对象,对其相关方法进行了较深入的探讨和研究。研究内容涉及新的加权型分类器模型的构建、多类分类方法、参数选择方法、样本约简方法等方面。主要工作包括:1.对非平衡双超平面支持向量机的分类器模型进行研究。提出了一种新的加权最小二乘双支持向量机分类器(WLSTSVM),它通过在错误变量上设置权向量,来解决最小二乘双支持向量机(LSTSVM)因采用SSE损失函数而引起的鲁棒性差的问题。给出了WLSTSVM在线性和非线性情况下的问题表达式及详细的推导过程,并给出了相应的算法实现流程。实验表明,WLSTSVM在提高抗噪能力以及分类识别率方面均有相对较好的表现。2.对非平衡双超平面支持向量机的多类分类方法进行探讨。以LSTSVM为基本的两类分类器,给出了一种基于优化有向无环图的LSTSVM多类分类方法(ODAG-LSTSVM)。用一个基于平均距离测度的类别可分性准则来确定将不同类样本分开的难易程度,同时给出了相应的类别序号重排方法,其目的是为了克服传统DAG结构可能引起的误差累计。实验证明了该方法在测试精度和执行速度方面均有不俗表现。3.对支持向量机的参数选择方法进行了探讨和研究。鉴于微分进化算法在寻求全局最优解、解决多峰问题等方面的优良表现,对其变异策略和控制参数两方面进行了探讨分析。首先,给出了一种基于自然界量变与质变规律的变异策略,定义了随进化代数自调整的变异发生质变的概率公式;然后,遵循适者生存的原则,给出了一种以当前代最优个体的适应度函数为调节准则的控制参数自适应调整策略。从经典函数求最优解的实验验证了基于上述策略的改进DE算法可以获得更好的平均最优解,且收敛速度较快。最后,将这种改进算法用于NPPC的参数选择,给出了相应的算法实现流程,其实验结果表明其在精度与速度方面均具有良好的性能。4.对基于支持向量机的样本约简方法进行了研究。主要包括两方面的内容,即样本个数约简和样本属性约简。首先,给出了一种被称为KD-FFMVM的样本个数约简方法,该方法考虑到消除孤立点、噪声点等的不良影响,以及尽可能多的提取边缘交界样本,来防止支持向量的流失;然后,在分析现有属性约简方法的基础上,对提高核Hebbian算法的收敛速度进行了探讨,给出了一种以柯西分布概率密度函数来修正学习速率,实现迭代过程自适应调整的方法,并实验验证了该方法的有效性;最后,设计了一个基于约简策略的支持向量机分类模型,与标准SVM相比,它可以在保持相当精度的同时,大大减少算法的训练时间。