多支持向量机融合算法研究

来源 :上海交通大学 | 被引量 : 0次 | 上传用户:qwaxjl
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
统计学习理论系统地研究了小样本情况下的机器学习问题。20世纪90年代,在这一理论基础下提出的支持向量机(SupportVectorMachine,SVM)较好解决了小样本、过学习、“维数灾”、局部极小等问题,具有很强的泛化能力。 多分类器融合作为信息融合、模式识别、机器学习等领域交叉形成的一个分支,近年来成为一个新的研究热点。对于多个两分类SVM分类器融合方法及应用方面的研究还不完善,而对于多个多分类支持向量机(Multi-classSVM,MSVM)分类器融合的研究更是刚刚起步。 本文对多个SVM分类器融合和集成方法及应用进行了系统深入的研究。主要工作包括以下几个方面: 介绍了机器学习、统计学习的理论基础,在此基础上详细介绍了SVM方法的概念和特点,全面系统地阐述了SVM、信息融合、多分类器融合的研究进展和现状,分析了SVM分类器融合方法的研究发展趋势和存在的不足。 针对如何通过分类器融合提高决策分类性能,同时保持低的计算复杂性和占用较少存储资源的问题,提出了一种基于粗集理论构造SVM集成分类器的新方法。首先利用基于粗集理论的属性约简算法删除冗余和次要属性,得到最优特征子集,并根据最优特征子集来构建相应的输入子空间。然后对于每个输入子空间,训练相应的SVM子分类器。具有较高分类性能的SVM子分类器被挑选出来用于建立SVM集成分类器。最后通过医疗诊断数据集进行了仿真验证,并与其他分类器集成方法进行了比较分析。试验结果验证了所提方法的有效性。 针对多信息源、多分类问题,提出了几种基于MSVM的集中式和分布式融合策略和方法,并对现有方法的不足提出了改进的辅助决策函数。分别采用一对一(one-against-one),一对多(one-against-all)和有向无环图(DirectedAcyclicGraph,DAG)方法合并多个两分类SVM分类器来构造MSVM。所提的融合策略充分利用了MSVM的特性:一是通过构造并合并几个两分类SVM子分类器建立MSVM;二是通过寻找具有最大间隔的最优分类超平面来训练两分类SVM子分类器。利用多缸柴油机的故障诊断数据集对所提方法进行了验证,详细分析比较了各种融合方法的优缺点、适用范围以及三种MSVM分类器的性能差异。 提出了多分类概率支持向量机(Multi-classProbabilitySVM,MPSVM)方法,并给出了多个MPSVM分类器的贝叶斯融合算法。基于one-against-all策略分解多分类问题,训练多个两分类SVM结合挤压函数产生具有后验概率输出的支持向量机(ProbabilitySVM,PSVM)并进行组合,构造出MPSVM,分别采用均值和中值贝叶斯方法来融合多个MPSVM分类器。仿真实验说明了该算法的有效性。 提出了MPSVM在证据理论框架下的基本概率分配函数,证据理论支持向量机(Dempster-ShafertheorybasedMSVM,DSMSVM)构造算法,多个DSMSVM融合算法。通过设计基本概率分配函数,利用证据合并规则合并MPSVM提供的证据,并仅对单元素集应用最大信任准则,建立了DSMSVM。这种类型的学习机器能够提供更多的用于后续处理的信息。在此基础上用多个DSMSVM分类器融合来解决分布式的多信息源、多分类问题。针对每一个源建立相应的DSMSVM分类器,然后利用证据理论合并规则进行分类器证据融合,最终决策通过最大信任决策准则给出。将所提方法应用于柴油机的分布式故障诊断,获得了比传统方法更好的性能,提高了诊断的准确率和鲁棒性。 提出了基于模糊积分的MPSVM融合算法。同时考虑了每个MPSVM提供的证据和它在融合过程中的经验重要度,给出了两种根据识别率来计算MPSVM分类器在融合过程中重要度的方法:一种是利用每个MPSVM的整体识别率;另一种是利用每个MPSVM对于每一类的识别率。所提算法的有效性在柴油机的分布式故障诊断中进行了仿真验证。 针对非线性系统的辨识与控制问题,提出了基于SVM的逆学习方法。充分利用了SVM的小样本统计学习、泛化能力强的特点,采用SVM回归很好地逼近未知强非线性对象,对于受噪声污染的数据具有良好的适应能力,并在仿真中得到了有效验证。
其他文献
过程建模是众多基于模型的先进控制和优化策略设计与实现的前提条件。过程不断增长的规模和复杂度使得建立工业过程的机理模型变的非常困难,甚至成为不可实现的任务。由于过程
转子磁场定向控制使交流调速系统的性能产生了质的飞跃,异步电机无速度传感器矢量控制更是增加了系统的简易性和鲁棒性,因而成为目前交流传动发展的主要方向之一。这种控制方法最关键的问题是如何进行速度推算和转子磁链估计。本文应用基于超稳定性理论的模型参考自适应系统,对无速度传感器矢量控制系统的转速估计和转子磁链观测进行了研究。 本文首先介绍了交流传动的发展动向,接着阐述矢量控制基本原理、坐标变换和异步
随着计算机的发展,数字图像处理技术近年来得到了极大的重视和快速的发展,出现了许多相关的新理论、新方法和新设备。并且已经在工业生产、医学处理、交通管理和视频监控等方面
Lure控制系统是一种用线性系统与一个非线性项的反馈链接形式表示的非线性控制系统,具有很强的工程实用背景,引起国内外众多学者的广泛研究,获得了许多重要的研究成果。同时,在各
主动磁轴承(以下简称磁轴承)具有无摩擦、无磨损、无需润滑及寿命长等一系列传统滚动轴承和滑动轴承所无法比拟的优点,它在航空航天、真空技术、高速旋转机械及能源交通等领域有着广阔的应用前景。在磁轴承系统的研究中,控制器的设计是其中至关重要的一环,控制器性能的好坏直接影响到转子的动态性能和控制精度,直接关系到磁轴承技术能否成功应用于实践。 目前,磁轴承的控制器设计通常是在平衡点附近将模型进行线性化,
环境模拟技术是一门新的综合交叉学科技术,它主要研究各种自然环境的人工再现技术和在模拟环境下产品的试验技术;而荒漠化被认为是当今世界的重大环境问题之一;因此,运用环境
基于IEC61131-3国际标准的软逻辑控制技术是控制领域向开放性、标准化、网络化方向发展起来的新技术。软逻辑控制技术把控制、通信、人机界面以及各种特定的应用结合为一体,
三维成像是医学成像技术近年来引人注意的发展,超声三维重建系统的研究也是近年来超声成像系统中的研究热点。与二维成像相比,三维超声成像技术具有图像显示直观、可精确测量结
本课题所研究的复杂产品初步设计协同平台是一个多Agent支持的分布式软件系统,可以用其进行产品虚拟样机的初步设计。本课题详细研究了Agent理论模型,在MAS理论的基础上,采用
遥感图像目标自动识别技术是模式识别与图像处理领域非常活跃的研究课题。遥感图像目标识别应用领域十分广泛,许多不同类型的目标识别研究都有着重大的意义。地面人造景物中的油库是一种典型人造目标,通过计算机视觉技术对其进行自动识别的研究,无论在军事还是在民用上都有重大的意义。 本文的主要工作是对尖兵三号卫星(简称尖三)图像,中的油库进行识别,即计算机为手段,从复杂的遥感图像中检测出油库,并对其精确定位