用于神经网络学习的L1/2惩罚项的数值对比试验

被引量 : 0次 | 上传用户:susan222
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人工神经网络是一门新兴的边缘和交叉科学,其研究70年以来,已经被广泛的应用到多个领域中,而其中前馈神经网络在许多领域有着广泛的应用。一直以来,我们都把网络泛化能力看做是检测神经网络各项能力的一个重要标准。经过前人不断的探索,人们发现具有较好泛化能力的网络要满足一个条件,那就是能让训练样本集上逼近精度的规模达到最小。为了得到上面所说的那种小网络,人们研究出一种有效的方法,即网络修剪法,它主要包括直接修剪法和惩罚项法。事实证明,直接修剪法会使网络结构遭到破坏,往往使得网络训练需要很长的时间。而惩罚项方法是一种间接修剪网络的办法,这样不重要的连接就有较小的权值,修剪这些权值就可以使网络的复杂性大大减小,惩罚项法在没有破坏网络结构的同时又达到网络修剪的目的,从而是提高神经网络泛化能力的一个重要方法。近年来一些学者开始了L1/2正则子的研究,并证明了其具有无偏性、稀疏性及Oracle等优良理论性质。我们希望能利用L1/2正则子的这些优越的性质更好的进行神经网络学习,因此本文尝试将L1/2正则子加入到惩罚项中,通过数值试验来研究在批处理模式下,带L1/2惩罚项的BP算法的收敛性,探索各参数的变化对整个网络的输出误差及权值矩阵稀疏性的影响,努力找出L1/2惩罚项相比较其他惩罚项的优越性本文回顾一些有关神经网络的背景知识,介绍前馈神经网络及BP算法,同时将正则化框架与L1/2正则子提出来并给出理论分析。另外本文介绍几种常见的惩罚项,并描述带L1/2惩罚项的批处理BP算法。在本文的主要工作中,我们对批处理BP算法的误差函数进行数值对比试验,首先探索学习率的变化对函数误差的影响性,然后我们进行带L1/2惩罚项和L2惩罚项的批处理BP算法数值对比试验,找出各参数变化对批处理BP算法的误差以及权值矩阵稀疏性的影响,进行比对分析。最后得出结论,期望L1/2惩罚项能在神经网络的学习中得到更好的应用。
其他文献
<正>党的十八届四中全会专题研究全面推进依法治国,明确提出发展涉外法律服务业、建设涉外法治人才队伍和加强涉外法律工作等目标任务,对涉外律师人才队伍建设提出了新的更高
企业并购过程中除了要做好对并购目标企业的调查,改善融资方式外,还要制定正确的财务经营战略,规范财务制度,加强资产和负债的整合力度,确保企业并购成功,增强企业竞争力及应
玉米(Zea mays L.),一年生,禾本科植物,是世界上最重要的农作物之一,被广泛用做饲料、工业原料。玉米淀粉是玉米籽粒的主要成分,我国玉米的淀粉研究,相比于发达国家,在遗传育种、加工
在川中丘陵区,早地农业通常采用多熟种植模式,复种指数高,土地利用强度大,耕地上壤肥力的维持与改善是确保农作物周年高产高效和实现旱地农业可持续发展的重要课题。为此,本
水貂病毒性肠炎是危害水貂养殖的一种高度接触性传染病,主要致病对象为断奶后的仔貂,致死率在80%以上。对于此病的防治,目前国内外还没有特效的治疗药物,预防本疾病最有效的方法
本文研究的是法定证据制度及其对现代证据制度的影响,分为引言、正文和结语三部分,其中正文由四个部分组成。第一部分讨论的是法定证据制度的历史演进过程,文章分法定证据制度的
船舶在海面上航行,由于海浪等海洋环境因素的干扰,会造成船舶行驶过程的各种摇摆运动,而大量摇摆运动会对船舶的安全行驶带来负面的影响,如何保持船舶行驶过程中的平稳性即船
本论文是一篇翻译实践报告,翻译原文选自美国高等教育学家Philip G. Altbach和世界银行高等教育主管、英国高等教育评估专家组成员Jamil Salmi共同主编的著作《通往学术卓越之
要高度重视监狱劳教系统信访工作一、信访工作很重要、很光荣。负责信访工作的同志要增强荣誉感、责任感。信访工作是党和政府与人民群众联系的桥梁和纽带。搞好信访工作可以
目前,走航式ADCP数据后处理及输沙率计算等方面的研究还不够深入,方法虽然很多,但大多都不完善,且理论依据不足,影响了ADCP测量相关资料成果的准确性和科学性,给水文测验及数