论文部分内容阅读
核方法因其良好的表达能力和非线性映射等优点,成为机器学习算法中一种有效的工具,其中最具代表性的应用为支持向量机方法(Support Vector Machine,SVM)。受限于传统的统计学习理论和优化理论的发展,大多数SVM方法都要求核函数满足正定性条件。一方面,这一约束限制了核函数丰富的表达能力,即仅限于希尔伯特空间内的表示;另一方面,在许多实际问题中,不定核的使用能够更好地刻画数据之间的关系,从而取得比正定核更好的性能。因此,不定核的引入对于核方法的进一步研究具有重要意义。不定核支持向量机(Indefinite Kernel Support Vector Machine,IKSVM)因不定核的引入而成为一个非凸问题,对其的优化求解是机器学习中的研究热点。现有方法大多是针对IKSVM的对偶问题来设计算法,但是由于IKSVM的原问题和对偶问题都是非凸的,导致最终对偶问题优化得到的解并不是原问题的解,从而进一步影响了分类器的性能。针对这一问题,本文从主问题入手,提出了基于凸差规划的单不定核支持向量机学习算法(IKSVM with Difference of Convex Functions Programming,IKSVM-DC)。在此基础上,考虑到多核学习(Multiple Kernel Learning,MKL)可以有效避免核参数选择和提高分类器性能,本文进一步提出了基于凸差规划的多不定核的学习算法(Multiple IKSVM with Difference of Convex Functions Programming,MIKSVM-DC)。本文针对不定核支持向量机问题,主要做了如下两方面的工作:1)提出基于凸差规划的单不定核学习算法IKSVM-DC。本文将凸差规划方法应用到IKSVM主问题模型中,提出了 IKSVM-DC算法,并通过对该算法收敛性的分析,证明其可以收敛到一个局部最优解。进一步地,本文将该算法拓展到多类分类问题中,提出了一个统一的不定核学习模型来求解多类IKSVM问题。最后通过实验验证了所提算法的有效性。2)提出基于凸差规划的多不定核的学习算法MIKSVM-DC。结合IKSVM-DC算法,本文采用两步迭代优化求解的算法来解决MIKSVM优化问题,并对所提算法进行了收敛性分析。最后,本文将所提算法和现有的MKL方法进行了实验对比,表明所提算法具有较优的性能。