论文部分内容阅读
支持向量机是解决机器学习问题的一类重要算法,该算法集成了多项技术,自提出以来就受到了人们广泛关注,已经被应用到各种领域.由于支持向量机最初是用来解决二分类问题,而实际应用中遇到的许多问题是多分类问题,因此如何将二分类算法扩展到求解多分类问题,具有重要的研究意义.非平行超平面支持向量机对处理类间交叉的数据集和大规模数据集有优势,因此本文针对多分类问题,第三章在非平行超平面支持向量机多分类算法(NHCMC)的基础上提出第一种算法ε-非平行支持向量机多分类算法,简记为INHCMC.通过结合非平行支持向量机(NPSVM)的思想,将NHCMC中的二次损失函数改为ε-不敏感损失函数,半稀疏性改善了.论文给出的数值实验结果表明了 INHCMC是有效的.由于INHCMC对多分类问题采用的是一对余的思想,会造成数据集不均衡,因此很难选取合适的参数ε.第四章在INHCMC的基础上提出v-ε-非平行支持向量机多分类算法,简记为v-INHCMC,通过结合v-SVC和v-SVR的思想,将INHCMC原始模型中的参数ε和参数C2用有数值意义的参数v代替,化解了 INHCMC中参数ε的选取困难,并且v能够权衡模型中的两个目标(最大化间隔和最小化误差),以及有效的控制支持向量的个数,数值实验结果表明了v-INHCMC是有效的.交替方向法乘子法(ADMM)是一种用于解决可分凸规划问题的有效方法,尤其在解决大规模问题上具有优势,近年来被应用到机器学习的优化问题中.第五章我们采用交替方向乘子法的框架来求解INHCMC的原始问题,为了能够处理大规模数据集,本文用共轭梯度法近似求解子问题中矩阵的逆.数值实验结果说明了该算法是有效的.