抗噪音损失函数的设计、理论与求解算法研究

来源 :中国科学院大学 | 被引量 : 0次 | 上传用户:liongliong416
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
机器学习的一个重要的目标就是建立起从输入到输出的数学映射关系。在分类问题中,损失函数度量了样本正确或者错误分类的程度,并规定了对这一程度所需要付出的代价,从而也描述了学习得到的映射关系的质量好坏。损失函数不仅决定了机器学习模型的统计性质,而且也影响了问题求解时的计算开销。  现实生活中的数据广泛地存在着各种各样的噪音,对于分类问题来说,噪音可以分为两类:标签噪音和边界噪音。标签噪音指的是在错误分类一侧很远的样本点,对应于现实问题中标签采样出错的情况;边界噪音,也被称作特征噪音,指的是不同类别数据靠近部分的噪声点,对应于输入数据上的扰动。损失函数的选择很大程度上影响了分类器对于这两类数据噪音的敏感程度。本文主要从解决这两类噪音的角度出发,设计了两种全新的损失函数,同时将它们应用到支持向量机模型上去。我们不仅从理论上探究了所得到模型的各种性质,而且给出了相应的求解算法。主要工作和研究成果如下:  (1)这一部分工作主要设计了一种针对边界噪音的全新的损失函数,叫做截断弹球损失函数,同时它也解决了弹球损失(pinball loss)函数支持向量机没有稀疏性的问题。对于支持向量机而言,损失函数除了影响对于数据噪音的敏感性,还决定了对偶变量的稀疏性,稀疏性对于问题的计算效率影响很大。传统的支持向量机采用了合页损失(hinge loss)函数,具有比较好的稀疏性,但是对于边界噪音很敏感。弹球损失函数支持向量机能够处理边界噪音,但是它对应的模型不具有稀疏性。新提出的截断弹球损失函数建立起了合页损失和弹球损失之间的桥梁,对应的支持向量机模型在能够处理边界噪音的同时,保留了一定程度的稀疏性。同时,诸如贝叶斯定理,误分类误差的上界,稀疏性,特征噪音不敏感性等等性质,我们都从理论上进行了深入的讨论。因为得到的优化问题是非凸的,我们采用了凹凸过程(concave-convex procedure)来处理模型的非凸性,采用了分解算法(decomposition method)来求解凹凸过程每一轮迭代产生的子问题。相应地,我们修改了知名的求解器LIBSVM来进行数值实验,并且在人工数据集和真实数据集都取得了良好的实验结果。  (2)这一部分工作主要提出了一种名为不对称截断弹球损失的全新的损失函数,它结合了滑道(ramp loss)损失和弹球损失的优点,能够同时处理两类噪音。滑道损失支持向量机能够处理标签噪音数据,同时具有比合页损失支持向量机更加好的稀疏性,但是它也没有考虑到边界噪音的问题。而新提出的不对称截断弹球损失函数同时具备对于标签和特征两类噪音的鲁棒性,对应的支持向量机也具有一定的稀疏性。贝叶斯定理等理论性质都得到了证明。合页损失,滑道损失,弹球损失,以及截断弹球损失都可以看作它的特殊情况,因此这是一个更为一般的框架。与截断弹球损失函数相似,不对称截断弹球损失支持向量机对应的优化问题也是非凸的,我们依然用凹凸过程和分解算法来求解。此外,为了处理大规模超高维问题,我们针对线性核的情况,专门给出了一个基于对偶坐标下降算法的实现。数值实验证实了这种新的损失函数的有效性。
其他文献
以往的投资者在作投资决策时,通常是采用一个"两步走"的方法:即先用Markowitz的均值-方差模型确定投资到各证券的份额.在这些份额确定后,再确定对各个国家货币进行套期保值的
该文定义了强紧映射,给出了度量空间的强紧象的刻画并讨论了与度量空间的强紧象相关的问题.证明了度量空间的开强紧象仍是度量空间.meso-紧的Moore空间是可度量的.
遗传算法是一种基于遗传和自然进化法则的模拟进行算法.该文研究的主要内容是应用遗传算法解决遥感图象的数字分类问题.论文分三部分.第一章从介绍遗传算法入手,详细分析了遗
汉语语音处理是当前重要的研究领域之一.其中汉语语音合成技术在各个领域中得到了广泛的应用,受到科研工作者的关注.该论文主要研究汉语语音波形编码合成技术.分别采用了两种
m阶截断-B样条小波是一簇具有m阶消失矩性质的半正交小波.该文讨论在有限区间上利用m阶截断B-样条小波对信号进行分解与重构的具体算法.特别地,该文给出了对一些信号进行尺度
该文运用数学方法讨论了生物学中的两种实际问题,其一是神经元的动态问题;其二是群落种群的长期动态问题.全文共分两部分.在第一部分,运用奇摄动理论的几何方法,讨论了一对神
时齐扩散过程在金融领域具有重要作用,它被广泛应用于描述基础资产变量的随机波动。本文主要研究了基于离散观察值样本的时齐扩散过程漂移系数和扩散系数的非参数估计问题,Stan
该文研究随机需求下,单层多产品、有资源能力限制的生产批量问题.多种产品在有限的离散时段进行生产,每种产品在第一时段上生产都需要生产准备时间和生产准备费用.生产过程中
非线性波方程是描述自然现象的一类重要数学模型,也是非线性数学物理特别是孤立子理论最前沿的研究课题之一.通过对非线性波方程的求解和定性分析的研究,有助于人们弄清系统
该文研究与拓扑动力系统相关的问题,由两个部分组成.第一部分主要研究了具有负Schwarz导数的一维动力系统中吸引周期轨道和排斥周期轨道的相伴性质等问题;第二部分利用局部度