基于Huber损失和MCP正则的稀疏优化问题研究

来源 :贵州大学 | 被引量 : 0次 | 上传用户:cnfjwbx
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来机器学习和工程领域中的许多问题都有向优化方向靠拢的趋势,越来越多的机器学习问题可以总结为最优化问题。本文主要针对稀疏优化模型的理论性质和算法实验进行研究,由于Huber函数综合了最小一乘和最小二乘的优点,既光滑又稳健,因此模型中的损失函数设为Huber函数,惩罚项定义为0罚。本文采用折叠凹罚(Minimax concave penalty,MCP)来逼近0罚,得到了Huber问题的MCP松弛模型。通过研究松弛问题与原问题的解,讨论解之间的关系和性质。首先我们讨论了在一维情形下基于Huber损失函数的原0模型和松弛模型的全局最优解,并分析了全局最优解之间的关系;接下来定义了n维情形下松弛问题的稳定点,进而引出了最优性条件和下界理论性质;然后分析了MCP松弛问题和0问题的全局最优解之间的关系,证明了在一定条件下原问题和松弛问题具有相同的全局最优解以及最优值。其次是算法部分,本文采用了加速临近梯度算法(Accelerated proximal gradient method)。分析了MCP正则函数的临近算子的闭式表达,并设计了算法框架,证明了算法具有收敛性。最后是实验部分,我们进行了回归拟合实验和稀疏信号恢复实验。在回归拟合实验中,通过生成Huber回归拟合对比最小二乘回归,证明了Huber损失函数在有离群值的情况下具有较好的鲁棒性;在稀疏信号恢复实验中,我们通过对比Huber损失函数和最小二乘损失函数在添加噪声前后的相对误差得到,Huber函数在添加噪声后的恢复效果优于最小二乘;且对于随机产生的信号,维度从100:800稀疏度从5:60的情况下都能准确地恢复。
其他文献
进入新世纪以来,“一带一路”、“长三角一体化建设”等一批地区统筹发展战略的制定和推行,意味着区域经济协调发展成为新时代国民经济改革的重要着力点。长三角城市群是我国经济活动规模最大、金融集聚程度最高的城市群,但城市内部发展层次仍有较大差异,非均衡发展格局影响着区域经济的持续健康发展。因此探讨长三角城市群金融集聚对区域经济协调发展的影响具有重要意义。本文在国内外相关研究成果基础之上,梳理总结并完善了相
学位
提高道路资源利用率,减少等待时间,缓解交通拥堵是当前社会发展急需解决的问题.交通基本图描述了基本交通参数之间的关系,能为城市交通监测、路网控制、数据建模以及相关部门决策提供重要依据.本文按照局部到整体的思路,分别对子路段、道路、路网的基本图模型进行了研究.具体如下:以随机浮动车对为研究对象,定义平稳子路段,结合浮动车对数据和阻塞密度数据,从几何角度提出确定平稳子路段基本图(Fundamental
学位
传统广义回归神经网络具有良好的非线性逼近性能和学习速度,但网络中只有一个平滑因子对于动态数据来说拟合效果会存在一定的偏差,所以本文提出基于多平滑因子的广义回归神经网络(IGRNN),使得回归曲面更加适应数据的局部属性。同时,本文通过改进麻雀搜索算法,对IGRNN中的多平滑因子进行选取,提出了ISSA-IGRNN集成算法,从而提高IGRNN的预测性能。具体的研究工作内容如下:(1)为了解决基础SSA
学位
目的:建立并验证同时测定人血清中氟哌啶醇、氟奋乃静、氟哌噻吨、丁螺环酮、阿普唑仑和米安色林6个精神科药物的在线柱切换LC-MS/MS的灵敏和高选择性方法。方法:40μL血清样本加入乙腈450μL(含2 ng·mL-1的H~3-利培酮内标)进行蛋白质沉淀,4℃离心(4 000 r·min-1)10 min,后取上清20μL进样,在Waters XbridgeTMC8 column(5 mm,2.1
期刊
交通拥挤日益严重,非自由流相关问题成为人们越来越感兴趣的研究方向.交通宏观静态参数即交通参数估计是交通事件监测、控制和预测中最基础、最重要的部分,而交通微观动态参数车辆轨迹估计是了解道路网中交通状况的最佳方法.本文专注于研究非自由流时期相关问题,静态与动态相结合,充分描述交通流特征.Newell模型在交通流研究中具有较多的理论支撑和计算优势,但也存在不足之处,本文分别从交通参数估计和车辆轨迹估计两
学位
报纸
自然语言编码作为自然语言处理的第一步,对于自然语言后续分析有着决定性的作用,对中文自然语言进行编码,可以为句子相似度、信息检索、文本分类等任务提供分析依据。对自然语言进行编码的研究中,主要还是针对深度学习以及预训练模型展开,但深度学习中神经网络训练速度慢,对相同句式的词语语义区分不明显,训练耗时长,占用空间,可解释性也很差。而《同义词词林》的编码虽然覆盖77343条词语,对于一些新词热词却不能及时
学位
为了保障非营利组织资金的安全性和可靠性,推动财务管理的科学化、规范化发展,文章对非营利组织的定义和职能进行了概述,重点分析了非营利组织的财务管理目标和当前非营利组织面临的财务管理问题,包括财务监督工作机制不完善、财务管理队伍缺乏专业性以及现金管理工作缺乏创新性等;之后提出非营利组织财务管理工作的优化策略,通过完善财务监督机制、提升财务队伍水平、提高财务信息透明度等措施,切实保障非营利组织财务资金的
期刊
机器阅读理解(Machine Reading Comprehension,MRC)是一项旨在让机器根据给定的支持文档回答问题,以此来测试机器理解自然语言程度的任务。近年来随着各种深度学习技术的发展和阅读理解数据集的提出,MRC受到了越来越多的关注并被应用在不同的平台。例如,在客服平台上,客服机器人可以通过MRC技术准确调取文档信息,解答用户提出的问题。但是,在实际应用中,大部分问题仅由单个文档推断
学位
随着科技的发展,深度学习已经不可避免的成为大势所趋。数据、网络模型以及优化算法已经成为了决定神经网络性能最关键的因素,而其中优化算法更是直接决定了网络模型所有参数的取值。所以,对神经网络进行恰当的优化显得至关重要。分数阶微积分一方面可以通过更新来不断地调节阶次,这样可以为梯度下降算法性能的提升提供新的可能,而另一方面时间分数阶的能量耗散规律以及数值稳定性原理的研究为我们研究参数平均提供了一个新思路
学位