论文部分内容阅读
统计学习理论系统地研究了小样本情况下的机器学习问题。20世纪90年代,在这一理论基础下提出的支持向量机(SupportVectorMachine,SVM)较好解决了小样本、过学习、“维数灾”、局部极小等问题,具有很强的泛化能力。
多分类器融合作为信息融合、模式识别、机器学习等领域交叉形成的一个分支,近年来成为一个新的研究热点。对于多个两分类SVM分类器融合方法及应用方面的研究还不完善,而对于多个多分类支持向量机(Multi-classSVM,MSVM)分类器融合的研究更是刚刚起步。
本文对多个SVM分类器融合和集成方法及应用进行了系统深入的研究。主要工作包括以下几个方面:
介绍了机器学习、统计学习的理论基础,在此基础上详细介绍了SVM方法的概念和特点,全面系统地阐述了SVM、信息融合、多分类器融合的研究进展和现状,分析了SVM分类器融合方法的研究发展趋势和存在的不足。
针对如何通过分类器融合提高决策分类性能,同时保持低的计算复杂性和占用较少存储资源的问题,提出了一种基于粗集理论构造SVM集成分类器的新方法。首先利用基于粗集理论的属性约简算法删除冗余和次要属性,得到最优特征子集,并根据最优特征子集来构建相应的输入子空间。然后对于每个输入子空间,训练相应的SVM子分类器。具有较高分类性能的SVM子分类器被挑选出来用于建立SVM集成分类器。最后通过医疗诊断数据集进行了仿真验证,并与其他分类器集成方法进行了比较分析。试验结果验证了所提方法的有效性。
针对多信息源、多分类问题,提出了几种基于MSVM的集中式和分布式融合策略和方法,并对现有方法的不足提出了改进的辅助决策函数。分别采用一对一(one-against-one),一对多(one-against-all)和有向无环图(DirectedAcyclicGraph,DAG)方法合并多个两分类SVM分类器来构造MSVM。所提的融合策略充分利用了MSVM的特性:一是通过构造并合并几个两分类SVM子分类器建立MSVM;二是通过寻找具有最大间隔的最优分类超平面来训练两分类SVM子分类器。利用多缸柴油机的故障诊断数据集对所提方法进行了验证,详细分析比较了各种融合方法的优缺点、适用范围以及三种MSVM分类器的性能差异。
提出了多分类概率支持向量机(Multi-classProbabilitySVM,MPSVM)方法,并给出了多个MPSVM分类器的贝叶斯融合算法。基于one-against-all策略分解多分类问题,训练多个两分类SVM结合挤压函数产生具有后验概率输出的支持向量机(ProbabilitySVM,PSVM)并进行组合,构造出MPSVM,分别采用均值和中值贝叶斯方法来融合多个MPSVM分类器。仿真实验说明了该算法的有效性。
提出了MPSVM在证据理论框架下的基本概率分配函数,证据理论支持向量机(Dempster-ShafertheorybasedMSVM,DSMSVM)构造算法,多个DSMSVM融合算法。通过设计基本概率分配函数,利用证据合并规则合并MPSVM提供的证据,并仅对单元素集应用最大信任准则,建立了DSMSVM。这种类型的学习机器能够提供更多的用于后续处理的信息。在此基础上用多个DSMSVM分类器融合来解决分布式的多信息源、多分类问题。针对每一个源建立相应的DSMSVM分类器,然后利用证据理论合并规则进行分类器证据融合,最终决策通过最大信任决策准则给出。将所提方法应用于柴油机的分布式故障诊断,获得了比传统方法更好的性能,提高了诊断的准确率和鲁棒性。
提出了基于模糊积分的MPSVM融合算法。同时考虑了每个MPSVM提供的证据和它在融合过程中的经验重要度,给出了两种根据识别率来计算MPSVM分类器在融合过程中重要度的方法:一种是利用每个MPSVM的整体识别率;另一种是利用每个MPSVM对于每一类的识别率。所提算法的有效性在柴油机的分布式故障诊断中进行了仿真验证。
针对非线性系统的辨识与控制问题,提出了基于SVM的逆学习方法。充分利用了SVM的小样本统计学习、泛化能力强的特点,采用SVM回归很好地逼近未知强非线性对象,对于受噪声污染的数据具有良好的适应能力,并在仿真中得到了有效验证。