基于残差网络的快速手写体数字识别算法

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:zhanglicheng666
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
手写体数字识别技术广泛应用于互联网、银行、教育等行业,其中卷积神经网络是手写体数字识别的重要方法之一。随着各类卷积神经网络的不断演进,手写体数字识别的准确率日益提高,人们对其改进的焦点逐渐由“提高准确率”变为“加快模型训练的收敛速度”。本文选取残差网络作为研究方向,从网络结构和训练技术两个层面改进残差网络,提高网络的收敛速度。本文首先对经典的卷积神经网络LeNet、具有多通道思想的GoogLeNet、残差网络ResNet、SqueezeNet、DenseNet进行介绍,包括几种网络的模型结构、优点等。其次,本文介绍了经典的多通道网络模型Inception-ResNet-v2。为了提高网络收敛速度,本文改进了多通道结构,并应用于残差网络中。与Inception-ResNet-v2网络完全使用并联方式不同,本文改进的多通道残差网络是在串行卷积神经网络基础上,为每个卷积层并联一个1×1的卷积层,组成一个多通道模块,每两个模块串联后加入残差连接。同时为了加快网络的收敛,改进的网络舍弃了卷积神经网络常用的dropout技术。并随后分析了模型改进的原因及优点。最后,本文对网络模型进行训练技术方面的优化。先将GoogLeNet中的批量归一化技术应用于本文改进的网络里,以提高网络收敛速度和泛化能力。再将Adam算法应用于本文改进的网络里,以减少网络反向传播时的计算量。为了进一步提高网络收敛速度,本文借鉴了SVM处理离群样本的策略,提出基于有监督学习的多维平面输出逼近算法,并以多维平面图解的方法分析其原理。该算法是将带有严重噪声的测试样本向理想样本逼近,其中设有三个关键的参数,一是“测试准确率阈值”,当测试准确率大于该阈值时,就认为网络已经具有良好的泛化能力了,开始使用输出逼近法;二是“欧氏距离阈值”,当某个测试样本与理想样本的距离大于该阈值时,就认为该样本由于噪声过大,不具有代表性,使用输出逼近法将其推向理想样本;三是“逼近距离”,代表离群样本的移动距离。本文以MNIST和高噪声手写体数字作为数据集,进行多次实验并得出结论:与传统残差网络相比,本文改进的多通道残差网络在具有相同网络复杂度的情况下,可以使网络训练次数由1000次变为800次;本文提出的输出逼近法在不降低识别准确率的情况下,可以使网络收敛速度加快,当训练手写体数字数据集时,欧氏距离阈值设置为0.3、逼近距离设置为0.01,可以使网络收敛速度达到最快,训练70次后,准确率就可以收敛到97%以上。
其他文献
观察24例患有高血压、冠心病及其他慢性疾病患者在口服复方莲子心制剂前后的甲襞微循环,并与正常健康组比较。结果表明:该制剂能从各个方面改善患者的甲襞微循环,然而各疾病组在治
84岁的医生钟南山,依旧为了战“疫”呕心沥血;一位有着25年工作经历的主任医师写下申请书,“不计报酬、无论生死”……面对新冠肺炎疫情,大批白衣“逆行者”们义无反顾,奋战在防控
报纸
新冠肺炎疫情发生后,全国上下闻令而动,驰援武汉,掀起了一波波支援湖北的战“疫”浪潮。$$据报载,截至2月14日,国内生产企业累计向湖北运送医疗防护物资器材100余万件(套),全国通过铁
报纸
多相流以及气液相变传热问题广泛存在于能源与环境中的动力装置、催化化工、材料加工以及石油开采等领域。多相流以及气液相变传热过程大都涉及到液滴的融合与破裂,气泡的生长、融合与破裂以及流固之间的流动与传热等复杂问题。因此理解与探究多相流与气液相变传热中的流动与传热规律具有十分重要的意义。传统数值模拟方法在求解多相流的界面演化过程大多需要复杂的界面追踪或捕捉技术,且对于相变过程的实现上都带有一些人为添加因
炭疽病和黄萎病被称为马铃薯早死病,在甘肃省首次报道。为了掌握2种病害的病情发展规律,将分离鉴定的2种病原(CoUetotrichum coccodes和Verticilliumdahliae)分别接种到不同品种
<正>时效作为在法律规定的条件下,经过一定时间,取得财产所有权或免除义务的方法,其法律本质在于:“即一定的事实状态在法律规定期间内持续存在,从而产生与该事实相适应的法
应用Fluent软件计算迷宫密封斜齿角度和三角齿型对迷宫密封流场和泄漏量的影响.计算结果与分析表明,迷宫密封齿型对密封不可压缩流体流场和泄漏量有一定的影响,随着密封齿倾斜角
数学是每个学生从小学时就开始学习的基础学科,尤其在高中阶段,数学占据着很重的分值,因此,高中数学教学应当注重提升教学效率。随着我国教育改革的深入进行,当今教学模式也
目的探讨老年肺癌住院期间的应对方式与健康相关生活质量及二者之间的关系。方法采用欧洲癌症研究与治疗组织(EORTC)研发的健康相关生活质量问卷核心卷(QLQ-C30)中文版和医学应对
花椒是医药、食品、美发等行业的重要原料,花椒不但具有消肿、止痛、杀虫的药用功能,而且有调味作用。据调查,全国年需花椒120万吨左右,而国内年产花椒总量仅在6万吨左右,市场需求