多核学习算法研究与应用

来源 :国防科技大学 | 被引量 : 0次 | 上传用户:zhihong0223
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
核学习已被广泛应用于计算机视觉、自然语言处理、遥感影像分析等众多领域。核学习通过隐式映射把原始数据投影到高维空间(甚至是无穷维),然后通过核技巧将在原始空间线性不可分数据映射为在核空间线性可分。单核学习的主要任务是如何选择一个适用于数据表达的核参数,从而提高核学习的性能。单核学习虽应用广泛,然而它却不能很好的处理具有多源异构特征的数据。多核学习通过融合一组基核巧妙的使用数据的多源异构特征来提高学习性能。相对于单核学习,多核学习将单核学习面临的核选择问题转化为对基核组合系数的优化问题。因此,在多核学习中对学习目标和基核组合系数的优化是一项非常重要的任务。本文涉及的主要工作是求解这两方面的问题。本文的贡献主要包括以下四个方面。(1)提出了一种快速的自加权局部核对齐多核聚类算法。基于局部核对齐多核聚类框架的算法虽然取得了很好的聚类性能,但是该聚类框架存在两个方面的问题。1、忽略了样本局部核之间的差异,在聚类过程中简单均等的使用每一个局部核对齐,没能合理的充分利用每个局部核对齐对聚类性能的贡献。2、该聚类框架的时间复杂度过高,且聚类时间高度依赖于参与聚类的局部核个数,与此同时,该聚类框架忽略了局部核之间的相似性,造成了很多的冗余局部核参与了聚类。为解决第一个问题,本文引入了一个新的优化变量(局部核贡献权重)来衡量每个局部核对齐对聚类性能的贡献,并联合优化贡献权重、基核组合系数、聚类关系矩阵。随后,设计一个三步交替优化算法来求解新的优化问题。为了解决第二个问题,我们使用锚点技术减少参与聚类的局部核个数,从而大大降低了局部核对齐算法的聚类时间。具体锚点思想为:把样本的聚类中心当做锚点样本,只对锚点样本执行局部核对齐,而且锚点的个数可以通过扩展局部核矩阵重构全局核矩阵过程自动确定。大量实验证明了提出算法的聚类性能和时间性能。(2)提出了一种基于全局和局部结构对齐的多核聚类算法框架。针对现有的多核聚类算法在聚类过程中往往忽略了样本局部结构的问题,本文提出了一种基于全局结构和局部结构对齐的多核聚类框架。局部核对齐聚类框架采用的是局部形式来描述样本的局部结构,而全局结构和局部结构对齐的多核聚类框架采用的是从全局的角度挖掘样本的局部结构。该聚类框架可以采用多种流形算法从全局的角度捕捉样本的局部结构。为了说明提出聚类框架的通用性,我们实例化了两个具体的基于全局结构和局部结构对齐的多核聚类算法。其一用局部线性嵌入捕捉数据的局部结构;其二用局部保存投影来捕捉数据的局部结构。大量的实验结果表明了提出多核聚类框架的有效性和通用性。(3)提出了基于核交互的多核极限学习机。针对现有的多核极限学习机框架下的算法在优化基核组合系数时,只使用了对应单核的信息,而忽略了基核在融合期间交互的问题,本文提出了两种改进算法。其一称之为基于矩阵诱导正则的多核极限学习机,即通过设计一个正定矩阵来描述基核之间的相关性,然后用该矩阵诱导的正则项去约束基核组合系数的优化,该算法可以很好的利用基于数据的先验知识去改善极限学习机的性能。其二称之为基于矩阵r,p范数的多核极限学习机。该算法用系数矩阵的r,p范数代替系数向量的p范数来控制基核组合系数的优化。相对于基于p范数的多核极限学习机,基于矩阵r,p范数的多核极限学习机在基核组合系数的选取上有更大的灵活性。随后,针对提出的两种算法分别设计了对应的优化方法,并证明了它们的收敛性。实验结果表明:提出的多核极限学习机泛化性能要优于传统的多核极限学习机。(4)提出了基于核对齐正则化的多核极限学习机。针对一阶段的多核极限学习机在优化基核组合系数时,忽略了样本的标签信息,而两阶段的多核极限学习机在优化组合系数,虽然利用了样本的标签信息,却忽略了基核组合系数的优化过程和网络结构优化过程间交互的问题。本文提出了一种基于核对齐正则化的一阶段多核极限学习机,并给出了对应的优化方法。具体思想为:用样本标签矩阵当做理想核用于核对齐准则,然后把这一准则当做一个正则项加到多核极限学习机的优化目标上。随后,本文设计了对应的优化方法,并给出了该算法收敛性的证明。实验结果表明:提出的基于核对齐正则化的多核极限学习机具有良好的分类性能。
其他文献
人体行为的感知与理解,是智能人机交互的重要环节,在应急处突、反恐维稳、智能家居等诸多领域具有广泛的应用价值。多样化的任务对行为感知的准确性、实时性、鲁棒性等提出了更加苛刻的要求。一种行之有效的解决方式是引入雷达等非光学探测手段,借助电磁波独特的物理属性以应对无光、遮蔽、非视距等常规意义下的复杂任务环境。在雷达人体行为感知领域,机器学习等统计分析方法与经典信号处理技术不断加速融合,有效地推动了雷达系
随着新技术的涌现,产品具有更多的功能和更好的性能的同时,物理结构和运行机理变得越来越复杂,传统的基于机理的故障预测已不再适用于当下高技术产品。立足于当前由传感器获取的大量监测数据的现实和健康管理理念进一步发展的契机,如何建立起大数据与智能健康管理之间连接的桥梁,实现由离线检测到实时监测和由单一模式到智能化的故障预测技术的转变成为目前亟待解决的问题。本论文在海量监测数据的背景下,针对故障预测和维修决
随着大数据时代的到来,很多科技应用领域所需要处理的数据呈现爆炸式增长,这对数据的存储,传输,处理都提出了新的更为严苛的技术要求。张量作为矩阵的高阶推广,其在存储数据的方式上有着更好的适用性,对张量的研究分析目前已然成为国际上最为前沿的问题与研究热点。其中,张量特征值概念的提出,不仅在丰富完善了张量分析这一学科的理论大厦,更在诸多科技领域有着广泛的实际应用,因此,对张量特征值的计算一直以来也是人们所
雷达是空间监视、预警防御等系统的重要传感器。雷达能否探测、跟踪感兴趣的目标并识别目标的类别对这些系统具有至关重要的影响。在空间监视和预警防御应用中,真假弹头目标的识别是最重要也最具挑战性的问题之一。雷达在探测、跟踪、识别弹头目标时,需要克服各种假目标的不利影响,主要包括:无源诱饵目标的误导、有源电子假目标的压制和混淆。针对弹头欺骗干扰技术中的实体假目标和弹载间歇采样转发干扰(Interrupted
随着计算机性能的不断提升,计算流体力学(Computational Fluid Dynamics,CFD)领域的学者们可以使用越来越复杂的模型来模拟流体的流动问题,数值模拟的精度因此得到很大的提高。但同时,数值模拟计算的规模也在不断扩大。这对于需要先将结果数据保存在硬盘中再读取出来进行可视化的传统后处理方式来说,是很难克服的I/O瓶颈。在大规模高性能计算中,超级计算机虽然可以快速地产生和处理大量的
随着科技的不断进步,各类传感器的灵敏度和精度都得到大幅度提升,因此基于观测的多目标跟踪技术的发展迫在眉睫。特别是在复杂环境中高机动性目标的观测难度增大,传统的基于数据关联技术的多目标跟踪算法性能已经很难获得质的提升。因此近年来由随机集(Random Finite Set,RFS)理论发展出的有限集统计学(Finite Set Statistics,FISST)成为了多目标跟踪领域新的研究方向。由于
随着现代控制论、人工智能、信息与通信等技术的发展,无人作战飞机(Unmanned Combat Aerial Vehicle,UCAV)的作战能力得到大幅提高,不仅能在复杂的未来战场执行侦察、预警等任务,还能执行需要高度协同的压制敌方防空系统、打击敌方地面或海上关键目标、拦截敌方战术弹道导弹和巡航导弹甚至参与空战等任务。为实现以最小的作战成本获得最大的作战收益的目的,需综合考虑UCAV及武器的性能
利用机器人执行搜索救援和反恐排爆等危险任务,可有效减少人员伤亡、提高作业效率。由于任务环境复杂多变不可预知、且结构化与非结构化地形并存,要求机器人具备全地形的快速高效通过能力。然而,移动机器人的通过能力与速度效率之间往往不可兼得:仅具备轮、履、腿三者之一的传统机器人虽然结构相对简单,但是因为运动模式单一而不具备全地形通过能力;将轮、履、腿三者组合的多运动模式机器人虽然具备全地形通过能力,但是结构复
当今软件规模和复杂程度日趋增加,提高软件的可信性已成为软件工程领域研究的焦点,尤其是在国防、金融、医疗等安全攸关领域。许多安全攸关软件,一般与数学和物理模型紧密关联,从而不可避免地会涉及大量数值计算。因此,对程序的数值缺陷和性质进行分析和验证,对于提高安全攸关软件的可信性尤为重要。抽象解释是一种通用的抽象近似理论,它为程序语义的抽象和推理提供了一个统一的理论框架,并在程序分析与验证领域得到了广泛应
在以维持统一时间、空间为目的的天基传感网中,卫星子系统的时空系统基准维护具有重要而基础的作用。利用星间链路进行星间精密测距的卫星协同定位,可以让整个星座即使在没有地面支持的情况下长时间地维护一个可用的时空基准,具有很高的实际意义和战略价值。由于卫星运动模型的非线性性,传统的协同定位理论和分析方法不能直接用于分析卫星协同定位的性能和误差演化特性,制约了卫星协同定位的发展和研究。此外,要在实际中实现卫