高斯核函数支持向量分类机超级参数有效范围研究

来源 :山东师范大学 | 被引量 : 11次 | 上传用户:mlgbdwcnm
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
基于统计学习理论尤其是其中的结构风险最小化原则,强调机器学习推广和泛化能力的支持向量机(SupportVectorMachine,SVM),是继人工神经网络(ArtificialNeuralNetwork,ANN)后机器学习领域中最重要的进展之一。对SVM研究文献的调研表明,在经历了20多年广泛深入的研究之后,SVM至今仍然是机器学习界最活跃的研究领域之一。本文通过对C参数SVM分类学习机(CParameterSupportVectorClassification,C-SVC)超级参数有效范围国内外相关研究进行了广泛深入的调研和综述后,得出结论:现有文献对超级参数范围或初始值的设定均是凭经验至多是半经验进行的。由此可以断言迄今尚未发现有专门针对SVM超级参数有效范围的系统化研究。基于这一结论,本文确立了以高斯核函数(也称为径向基函数,RadialBasisFunction,RBF)C-SVC超级参数有效范围为研究对象,以寻找依赖于SVM内在和本质属性且数据集相关的超级参数有效范围确定方法为研究目标。论文在表述了研究背景及意义、综述了国内外研究现状、阐述了SVM的基本理论和基本求解算法后,对所确立的目标开展了综合深入的研究,并进行了大量的基础性和验证性实验。概括起来取得了如下的研究成果:1)通过对C-SVC的调参研究文献以及应用调参的研究文献进行了详细深入的调研和综述,得出了如下重要的结论:SVM调参难度源自于SVM推广误差相对于超级参数是一个非凸的多极值函数,并以GSk-CV误差面和典型调参结果比较实验证实了这一事实。通过支持向量个数随参数的变化曲线证实了C-SVC的一个重要性质:当小到一定程度时,所有的少数类样本均成为支持向量,且多数类样本支持向量的个数与少数类样本相同。根据推广误差随参数的变化曲线,得出了可以通过调用对训练集整体的SVM训练实现简单调参方法的结论。2)根据经验分析给出了一种数据集相关的确定有效范围的算法和一种确定值有效范围的算法。实验结果表明它们是有效可用的,可以使GS5-CV的计算量减少到。3)根据RBF核函数的渐近特性设计了一个确定参数有效范围的数据集相关的启发式方法。根据SMO算法,推导出了一个关于的参数下限函数。也是数据集相关的,而且可以适用于任何的核函数。实验结果表明上述方法能够较好地刻画RBFSVC超级参数有效范围的特殊形态。4)本论文最具创新的研究成果是找到了一个贴切和完美地刻画RBFSVC超级参数有效范围的特殊形态的系统化方法,该方法同时还给出了求解参数有效范围更加科学的方法。它包括如下要点:(1)将SVC在值达到某个下限值时的优化问题表述为组合最优化问题,并提出了求解该问题的一个GreedySearch方法。(2)将值达到时SVC的多数类样本间隔界和分类界表达为一个关于和的线性方程组,并利用GreedySearch方法的结果提出了以LMS求解该方程组以获得和的方法。针对RBFSVC,LMS解出的是与RBF超级参数相关的,因而也就得到了关于的又一个值下限函数。(3)根据值很大时RBF核函数趋于0的性质,分析出了在值超过某一高限值时不再随变化的特性,并据此获得了关于有效范围的上界。(4)根据值很小时RBF核函数趋于1的性质,分析出了在值超过某一低限时渐变为一条直线的特点,据此并借用SVC分类间隔的经验截止值获得了有效范围的下界。实验结果充分验证了上述方法能够贴切和完美地刻画RBFSVC超级参数有效范围的特殊形态。上述4项研究成果既体现了本论文充足的调研综述、分析推导、算法设计和实验计算工作量,也表明了论文达到了计划中的研究目标。
其他文献
[摘 要] 建筑业是国民经济的支柱产业,也是竞争性行业。大力发展非国有建筑经济是我国建筑业发展的必然趋势,符合发达工业化国家建筑业发展的规律。  [关键词] 非国有建筑经济 产权制度 改革    建筑业是国民经济的支柱产业,也是竞争性行业。目前,以国有为主导,以公有为主体,多种所有制经济共同发展的格局已逐步形成。从搞活全行业出发,应在不断增强国有建筑经济控制力的前提下,大力发展非国有建筑经济。非国
随着国家的发展和社会的进步,目前国内原有的建筑工程施工管理已经不能够满足社会对于建筑工程施工管理的需求。因为随着国内经济的建设,国内的建筑工程逐渐趋于现代化,原有
节能减排、环境保护及消费者对纸张质量要求的提高客观上要求造纸行业必须进一步提高企业的自动化及信息化程度。制浆过程卡伯值、碱回收过程及洗涤过程的黑液浓度的在线测量
在消费升级的推动下,水果(连锁)店这一新业态得到快速发展,它既是市场发展的产物,又给经济发展带来活力。在总结新业态水果(连锁)店现状的基础上,分析了新业态水果(连锁)店的
复水是冷冻干燥食品的重要特性,为明确冷冻干燥豆腐复水后其水分分布的规律,采用低场核磁共振研究了不同超声功率(0、100、200、300、400,500W)制浆对鲜、复水冷冻干燥豆腐水
回 回 产卜爹仇贱回——回 日E回。”。回祖 一回“。回干 肉果幻中 N_。NH lP7-ewwe--一”$ MN。W;- __._——————》 砧叫]们羽 制作:陈恬’#陈川个美食 Back to yield
以组织沉默作为组织承诺的前因变量、组织承诺作为组织沉默的后果变量来构建组织沉默各维度对组织承诺各维度影响的结构方程模型,在运用结构方程模型的分析方法并运用相关软
近年来,随着媒体的发展与市场的激烈竞争,科学技术也随之不断提高,人们对于网络等新兴媒体的依赖性逐渐增强。在如今信息快速发展的时代,新媒体、广播电视等媒体产业正快速发
在劳伦斯众多的文学作品中,其短篇小说一直湮没在其长篇小说的光环之下,较少受到人们的关注。在他的作品中,无论是亲子关系,还是夫妻关系都对人物的性格和命运起着不可估量的作用
本文在探究建筑工程施工管理创新重要意义的基础上,针对性地提出了建筑工程施工管理创新的相关有效策略,旨在为进一步提升我国建筑工程施工管理创新能力和创新水平带来更多的