半监督支持向量机模型与算法研究

来源 :上海大学 | 被引量 : 21次 | 上传用户:chenshu541775136
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
支持向量机是一种针对小样本分类问题的机器学习方法,它是根据统计学习理论中的结构风险极小化原则提出的,由于具有获得全局最优解以及良好的泛化能力被广泛应用到当前的热点领域,如压缩感知、稀疏优化、模式识别、特征提取、图像处理和医疗诊断等领域中.半监督支持向量机是一种同时考虑有标签样本和无标签样本的学习方法.由于在实际问题中人们通常容易获取大量的无标签样本和少量的有标签样本,因而半监督支持向量机被广泛应用到处理大规模数据识别与分类问题中.然而,半监督支持向量机的挑战主要在于其数学模型是一个难解的优化问题,并且在处理非线性分类时选取核函数既耗时又带来计算上的困难.因而研究半监督分类的模型与算法设计具有重要的理论意义和广泛的应用价值.本博士学位论文主要研究了新的半监督支持向量机分类模型与算法,并通过人工数据集和分类数据库中的基准数据集测试新方法的分类表现.首先,针对半监督支持向量机模型对应的优化问题难解的挑战以及带有二次Hinge损失函数的半监督支持向量机模型的研究,提出了两种锥松弛方法.半监督支持向量机模型对应的优化问题是混合整数规划问题,本文首先提出了一个新的半正定松弛问题,并近似估计了原问题最优值与该松弛问题最优值的最大比值,即该松弛问题对原问题的近似程度.接着,构造了与原混合整数规划问题等价的全正锥规划问题.由于该问题通常是NP-难的,故对其进行进一步松弛,从而得到该问题的双非负松弛问题.与半正定松弛相比,双非负松弛得到的最优值是原问题最优值更紧的下界.最后,通过凸优化工具包CVX和交替方向算法求解两个松弛问题,数值结果表明两种松弛方法都得到了较高的分类精度,并且双非负松弛方法比半正定松弛方法分类效果更好.其次,针对选取合适的核函数比较困难且比较耗时等问题,首次提出无核半监督二次曲面支持向量机模型,该模型是一个混合整数规划问题,通常来说是NP-难的.首先将该混合整数规划问题等价转化为一个带有绝对值约束的非凸优化问题,再使用向量提升技术将其松弛为一个多项式时间可计算的半正定规划问题,并采用凸优化工具包CVX进行求解.通过数值实验发现,与传统半监督支持向量机方法和监督支持向量机方法进行对比,半监督二次曲面支持向量机能够得到更高的分类精度.实验结果不仅说明无核分类模型是有效的,也表明同时训练有标签和无标签样本提高了分类性能.但是该方法存在的问题是当数据集规模较大时容易产生内存溢出.最后,针对半监督二次曲面支持向量机存在的计算时间较长和存储内存较大两个问题,提出无核半监督中心二次曲面支持向量机模型,该模型利用了中心支持向量机的结构优势,将半监督二次曲面支持向量机模型对应的优化问题简化成为一个只含有等式约束的混合整数规划问题,该问题一般来说是NP-难的.为近似求解该问题,先运用半正定松弛技术再添加线性矩阵不等式约束将原问题松弛为一个半正定规划问题.对于松弛后的问题,设计原始交替方向算法进行求解.数值结果显示,与半监督二次曲面支持向量机相比该方法有效提高了计算效率和分类精度;并且有标签样本的标签与无标签样本的特征都对分类精度有很大影响.
其他文献
回 回 产卜爹仇贱回——回 日E回。”。回祖 一回“。回干 肉果幻中 N_。NH lP7-ewwe--一”$ MN。W;- __._——————》 砧叫]们羽 制作:陈恬’#陈川个美食 Back to yield
爱情、友情,历来都是文学所常表现的母题,它们与亲情构成了人间的三大至情。然而在沈既济的《任氏传》和蒲松龄的《娇娜》篇中,却可以看到一种介于友情与爱情之间的另类情感
一、变中求“准”出示图1中的湖泊,然后框出外围的平行四边形,问湖泊的面积大约是多少?生:用130×110。师:可以吗?生:可以。师:很可以吗?生:用平行四边形把湖泊框住了,平行四
旋转超声加工是加工工程陶瓷的一种有效方法,它与传统的加工方法相比具有加工速度快、加工精度高、加工质量好、工具头磨损小等特点。旋转超声加工已成为加工硬脆材料的主要
在GIS空间分析技术支持下,综合考虑分析铁路选线区域内的地形、地理环境和生态环境影响,以坡度、坡向、土地利用、植物群落、水域和湿地、道路、文物古迹和建筑用地等8个影响
回 回 产卜爹仇贱回——回 日E回。”。回祖 一回“。回干 肉果幻中 N_。NH lP7-ewwe--一”$ MN。W;- __._——————》 砧叫]们羽 制作:陈恬’#陈川个美食 Back to yield
国内大多数油田开发已经进入中后期,油层含水量逐渐上升,层问矛盾加剧,为了增加石油产量,提高油田生产效益,油田的增产措施由层间转为大厚层内的薄差油层开采,而现有的分层注
目的探讨腹腔镜手术与微创小切口手术治疗老年急性阑尾炎的临床疗效及安全性,为老年急性阑尾炎患者最佳术式的选择提供依据。方法选取120例老年急性阑尾炎患者为研究对象,根