论文部分内容阅读
核方法,如支持向量机、核主成分分析等,已成为模式识别和统计学习领域的主流方法。然而,这类方法极大的依赖于核函数的选择。因为高维特征空间的结构由核函数决定,它设计的好坏直接影响核方法的性能。高斯核函数由于其自身的优良性质,已被广泛的应用。然而,研究表明,高斯核参数的学习是一个十分具有挑战性的工作,而传统的高斯核参数学习方法如交叉验证法、批量的学习方法等具有时间开销大、内存消耗多等缺点,特别是针对大规模数据。由于核目标度量准则KTA(Kernel Target Alignment)具有简单、高效及理论保证等优点,因此,针对传统核参数学习方法存在的问题,本文基于KTA“级数差”的结构特点,在证明KTA可分性准则是一个局部凸函数的基础上,提出了三种在线高斯核函数学习方法。实验表明,相比于当前主流的核学习方法,本文提出的方法在时间性能与分类准确率上都有较大的改进。本文的具体内容包括以下四点:(1)KTA结构及局部凸性理论分析与证明。本文在全面洞悉KTA可分性准则“级数差”结构的基础上,根据函数分解的思想,采用二部图模型对KTA准则进行分解,从而在理论上证明KTA可分性准则在其确定的全局最小值附近是局部凸的,并用十组数据集对以上分析与理论证明进行实验验证。(2)采用经典的SGD(Stochastic Gradient Descent)算法学习高斯核函数。当前基于KTA的核函数学习方法,大多采用批量的方法,这是十分耗时的。因此,基于(1)中的推导,我们采用经典的SGD算法学习高斯核函数,这种方法具有简单、快速、极少的内存消耗等优点。并且,为了保证高斯核学习的收敛性,本文使用退火的学习速率来学习高斯核函数。(3)采用自适应在线学习算法学习高斯核函数。一个合适的学习速率η对于在线学习十分重要,虽然(2)中的方法能够提供一个较优的收敛性,但随着迭代次数的增加,它的速度将越来越慢。因此,我们采用自适应在线学习算法学习高斯核函数,这种方法能保证当核参数σ离其最优值较远时,使学习速率η1较大,以加快算法的寻优速度;反之,使ηt减小到一定程度,以保证算法收敛。(4)采用基于方差约减的在线学习算法学习高斯核函数。在线学习内在的方差是影响其收敛性的关键因素,通过设计高效的方差约减算法,可以允许我们使用一个较大的学习速率ηt,这可以在很大程度上加速核参数的寻优过程。因此,我们基于(1)中的推导,采用方差约减的在线学习算法来学习高斯核函数。最后,本文对提出的三个算法进行了对比分析,指出了他们之间的优缺点。