基于KTA结构的在线高斯核函数学习方法

来源 :福州大学 | 被引量 : 0次 | 上传用户:gang_zai1314
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
核方法,如支持向量机、核主成分分析等,已成为模式识别和统计学习领域的主流方法。然而,这类方法极大的依赖于核函数的选择。因为高维特征空间的结构由核函数决定,它设计的好坏直接影响核方法的性能。高斯核函数由于其自身的优良性质,已被广泛的应用。然而,研究表明,高斯核参数的学习是一个十分具有挑战性的工作,而传统的高斯核参数学习方法如交叉验证法、批量的学习方法等具有时间开销大、内存消耗多等缺点,特别是针对大规模数据。由于核目标度量准则KTA(Kernel Target Alignment)具有简单、高效及理论保证等优点,因此,针对传统核参数学习方法存在的问题,本文基于KTA“级数差”的结构特点,在证明KTA可分性准则是一个局部凸函数的基础上,提出了三种在线高斯核函数学习方法。实验表明,相比于当前主流的核学习方法,本文提出的方法在时间性能与分类准确率上都有较大的改进。本文的具体内容包括以下四点:(1)KTA结构及局部凸性理论分析与证明。本文在全面洞悉KTA可分性准则“级数差”结构的基础上,根据函数分解的思想,采用二部图模型对KTA准则进行分解,从而在理论上证明KTA可分性准则在其确定的全局最小值附近是局部凸的,并用十组数据集对以上分析与理论证明进行实验验证。(2)采用经典的SGD(Stochastic Gradient Descent)算法学习高斯核函数。当前基于KTA的核函数学习方法,大多采用批量的方法,这是十分耗时的。因此,基于(1)中的推导,我们采用经典的SGD算法学习高斯核函数,这种方法具有简单、快速、极少的内存消耗等优点。并且,为了保证高斯核学习的收敛性,本文使用退火的学习速率来学习高斯核函数。(3)采用自适应在线学习算法学习高斯核函数。一个合适的学习速率η对于在线学习十分重要,虽然(2)中的方法能够提供一个较优的收敛性,但随着迭代次数的增加,它的速度将越来越慢。因此,我们采用自适应在线学习算法学习高斯核函数,这种方法能保证当核参数σ离其最优值较远时,使学习速率η1较大,以加快算法的寻优速度;反之,使ηt减小到一定程度,以保证算法收敛。(4)采用基于方差约减的在线学习算法学习高斯核函数。在线学习内在的方差是影响其收敛性的关键因素,通过设计高效的方差约减算法,可以允许我们使用一个较大的学习速率ηt,这可以在很大程度上加速核参数的寻优过程。因此,我们基于(1)中的推导,采用方差约减的在线学习算法来学习高斯核函数。最后,本文对提出的三个算法进行了对比分析,指出了他们之间的优缺点。
其他文献
随着经济全球化的快速发展,技术创新与技术标准紧密联系,对国际贸易发展的作用日益显著,已成为影响和决定国际贸易竞争优势的核心因素和重要手段。本文在对国内外相关文献回
马克思中国化的研究,主要围绕马克思主义理论与中国具体实践之间的关系展开的,并在此基础上形成结合律与发展律,即马克思主义理论与中国具体实践相结合的规律和与时俱进、一
中亚地区由于特殊的地缘位置和对中国而言极为重要的战略意义,成为"一带一路"建设的"通"中之重。近年来,"五通"建设在中亚取得了令人瞩目的成效,中国与中亚国家关系进一步拓
在中国当代文坛中,余华无疑是一位风格独异的小说家,在80年代就以犀利的笔触奠定了他在文坛中的地位,至今一直受到中外学者的广泛关注。本论文试以寓言性的角度分析余华的作
为了解决传统印刷图像缺陷检测算法检测精度不足的问题,本研究提出了一种采用基于像素分布的自适应阈值分割模型的印刷图像缺陷检测算法。该算法充分利用印刷图像像素间的相
本文从引力势能做功转化为热能之间的关系推导出固体地核半径大小的方程式为:,在这个公式中C是铁的比热(4.6×106尔格/g℃),△T是铁的熔点温度(1555℃),p是固体地核的密度(约10
采用田间试验对比的方法,研究分析了0.5%阿维菌素颗粒剂,1.8%阿维菌素乳油,10%噻唑膦颗粒剂,30%噻唑膦微囊悬浮剂,6%寡糖·噻唑膦水乳剂,41.7%氟吡菌酰胺悬浮剂等6种药剂对哈
国内学生长期依赖面授教学,造成学习主动性差,难以适应e-learning。本文试图以清华大学远程教育的网络教学平台为例,探索智能评价系统的设计与实现,寻求在网络教学环境下激励
从学科划分上看I有关青少年教育的问题,I般会将之归人教育学的范畴。当然,这也并不绝对,至少从文化研究的视角看,这也曾经是引发其高度兴趣并充满激情投入的"I个话域。只要简单地
<正>2018年伊始,新华社发布了新世纪以来的第15份中央一号文件。这份题为《中共中央国务院关于实施乡村振兴战略的意见》的文件,在全面指导"三农"工作的同时,也为党的"三农"