支持向量机是由AT&T Bell实验室的Vapnik等人提出的一种针对分类和回归问题的新型机器学习方法,是借助于最优化方法解决机器学习问题的新工具.支持向量机方法基于统计学习理论与结构风险最小化原理,具有良好的推广性和较高的准确率.它集成了最优分类超平面、核技巧、凸二次规划等多项技术,能有效地解决“过学习”、“维数灾难”和局部极小点等问题.由于出色的学习性能,支持向量机已经成为当前机器学习界的研究热点,并在很多领域得到了广泛的应用,包括模式识别、回归估计等方面.由于支持向量机方法最初是针对二类别的分类问题提出的,如何将二类别分类方法扩展到多类别分类是支持向量机研究的一个重要内容.本文主要做了以下个方面的工作:1.对机器学习、统计学习理论以及支持向量机的发展和研究现状进行了介绍.对支持向量机的理论和算法进行了详细的介绍.同时,还对核函数理论、参数选择等热点问题进行了讨论.2.对支持向量机二分类问题的特征选择进行了研究.提出了提高支持向量机分类性能的特征选择方法,并通过实验验证了所提方法的有效性.3.总结了目前常用的基于支持向量机的多分类方法,包括一类对余类方法、一类对一类方法、决策二叉树方法、决策导向无环图方法、纠错输出编码方法等.对比讨论了各种方法的优缺点.针对决策二叉树支持向量机多分类方法存在的弊端,综合考虑了类距离与类的分布对类间可分离性的影响,采用层次聚类方法建立新的树结构,以提高多分类器的决策速度与准确率.实验结果验证了所提方法的有效性.