监督学习问题是机器学习领域中最常见的一类学习问题,广泛存在于垃圾邮件检测、模式检测、自然语言处理、情绪分析、自动图像分类等实际中.根据预测结果的不同,监督学习又被分为分类问题和回归问题.顺序回归问题是两者之间的桥梁,在信息检索,协同过滤,医学心理学等领域中具有广泛的应用.支持向量机能够最大化分类间隔同时最小化泛化误差,是解决分类问题和回归问题的有力工具.本文在支持向量机的基础上,提出了解决三类分类问题和顺序回归问题的方法,具体内容如下:第一,提出了一种解决三类分类问题的方法,即双超球支持向量数据描述.其主要思想是:当目标数据集含有三类样本时,利用第三类样本的信息对其它两类样本分别建立优化模型,使得其中一个最优超球体尽可能多的包含第一类样本点,同时拒绝其它两类样本点;另一个超球体尽可能多的包含第二类样本点,同时拒绝其它两类样本点,从而实现三类样本点的分类.通过求解两个小规模的优化问题,该方法降低了计算复杂度,减少了运行时间;通过对不同的样本类分别选取合适的核参数,该方法能够提高分类准确率.分别用人工数据和UCI数据库中的数据检验了该方法,并与一些经典的多类分类方法比较预测的正确率和计算时间,结果表明该方法是可行的和有效的.第二,提出了一种解决顺序回归问题的方法,即非平行超平面顺序回归机.该方法对于含有顺序信息的K类样本,分别找到K个方向不同的超平面,使得每类样本尽可能接近对应的超平面,达到对KK个含有顺序信息的样本进行分类的目的.利用样本的顺序信息,寻找每个超平面时,只使用相邻的两类样本作为约束条件.从而该方法只需求解K个小规模的二次规划问题,减少了运行时间.在不同的数据集上验证该方法,并与其它方法进行比较,结果表明该方法是有效的.