支持向量机是基于统计学习理论的新一代机器学习技术。由于使用结构风险最小化原则代替经验风险最小化原则,使它能较好地处理小样本情况下的学习问题。又由于采用了核函数思想,使它能把非线性问题转化为线性问题来解决并降低了算法的复杂度。目前,支持向量机已经成为国际上机器学习领域新的研究热点。 本论文首先概要介绍了支持向量机的理论背景,结合目前一些主要的支持向量机方法进行深入研究,提出新的见解。本论文的主要贡献可归纳为如下三个方面: 1.样本预优算法研究 论文首先介绍了一种可以减少大规模支持向量机训练时间和能减少野点影响的方法。很多支持向量机的算法都是从一个随机的训练数据的子集出发开始训练,本论文提出一种新的方法,在高维空间中估计出那些可能最终成为支持向量的向量集合,继而加速优化的过程。同时利用高维空间定义的距离来发现野点,并在一定程度上消除野点对最终分类面的影响。 2.提出高维中心支持向量机(HCSVM)方法 支持向量机利用少量数据来建立分类决策面。但是由于分类面只依赖于少量的支持向量,所以易受噪声数据影响。针对这种情况,本文提出了高维中心支持向量机(HCSVM)方法。该方法利用非线性可分数据映射到高维线性可分的特性,把数据映射到高维特征空间,将高维中心之间的距离最小作为优化的原问题。仿真实验表明,该方法在一定程度上减少了噪声数据对分类面的影响。 3.增量算法研究 增量算法已经成为智能知识发现方面一个重要的分类方法。在第五章中,笔者深入分析了支持向量集的特性,介绍了一般的增量学习算法。通过分析,指出在增量学习中确定学习参数比较困难,所以本文利用v-SVM