【摘 要】
:
卷积神经网络是最常用的深度学习模型之一,它基于生物视觉神经元机制,有效地改善了传统模式识别算法中存在的提取特征困难问题,具有较强的特征学习能力。近几年,基于卷积神经
论文部分内容阅读
卷积神经网络是最常用的深度学习模型之一,它基于生物视觉神经元机制,有效地改善了传统模式识别算法中存在的提取特征困难问题,具有较强的特征学习能力。近几年,基于卷积神经网络的模型在图像识别、目标检测、人脸识别和自然语言处理等领域得到了广泛的应用,并且取得了较好的效果。在对卷积神经网络进行训练时,首先需要对其进行初始化,并且初始化的恰当与否影响到网络训练的收敛速度与最终识别性能,所以研究卷积神经网络的初始化方法具有重要意义。本文首先介绍了卷积神经网络的概念和前向传播算法,针对其初始化问题进行研究,阐述了目前常用的随机初始化与Xavier初始化算法的优点与不足,提出了卷积神经网络的主成分洗牌初始化方法,实现了对网络的有效初始化,该方法主要包含如下4个步骤:(1)首先将训练数据输入网络进行前向传播计算,在前向传播过程中采样第一个卷积层输入特征图的各个感受野。(2)对每个输入特征图对应的采样集合进行主成分分析,使用得到的各个主成分初始化该层的所有卷积核。(3)随机洗牌打乱初始化后的卷积核,该步骤在所有卷积核内与上一层相同的特征图卷积的各矩阵间进行随机打乱。(4)按上述3个步骤逐层对后续卷积层初始化,初始化后续卷积层的过程中,前面的卷积层应已被本方法初始化。最后,为了测试上述初始化方法,本文在MNIST、CIFAR-10和STL-10数据集上进行了若干初始化实验。实验结果说明,该方法能有效地初始化卷积层权值,而且和随机初始化、Xavier初始化算法相比,本文提出的算法有助于提高网络训练速度和识别准确率。
其他文献
两晋时期,选官制度发生了一系列变化,其中,司徒府参典选举,并直接主持和参予九品论人工作,就是其重大变化之一。然而,这一时期的司徒府究竟有哪些官吏参典选举,其具体职掌如
前不久,网上流传一则号称“焚书坑儒”是弥天大谎、“焚书”实为秦始皇进行“教学课本改革”的消息,虽然其所宣称的观点实在不值一驳,但这一事件还是被不少媒体予以转发和讨论,甚
目的 探讨因人而异的系统性健康教育对产后抑郁症患者的影响。方法 将40例产后抑郁症患者随机分为观察组和对照组各20例。在常规用药的情况下,对照组实施健康宣教,观察组增加因
目的:探讨快乐教学在《护理学基础》实验教学中的应用价值。方法:将2007级211名本科护生随机分为快乐教学组110名及传统教学组101名,快乐教学组采用快乐教学方法,传统教学组采
从二十世纪八十年代初直到今天新世纪的二十来年的时间里,中国现代文学研究发生了相当大的演化。这一时期先后出现的三个关键语汇可以说大体上勾勒了这一演化的基本走势:“走向
我国高校知识产权保护研究经历萌芽、发展、争鸣和深化等四个阶段,研究的主要内容涉及高校知识产权保护的意蕴、必要性、目的和作用、存在问题和主要策略等方面。当前,我国高
研究永磁同步电动机的位置跟踪控制问题。针对参数不确定的永磁同步电动机系统,提出自适应神经网络动态面位置跟踪控制方法。根据Stone Weierstrass逼近定理,利用神经网络逼近
鸡内金科属:鹑鸡类,入药用鸡肶胵裹之黄皮,名鸡肫皮。性味:性平味甘。效用及主治: 1.健胃消化:用于胃消化不良,嗳气,反胃,呕吐等症。并治小儿腹泻遗尿等。用量:钱半至三钱。
<正> 一、概述 随着经济的发展,人民收入及生活水平有很大程度的提高,导致了犯罪率的上升,特别是入室盗窃案件增多。尽管人们利用防盗门、护栏等进行防范,但家庭财物被盗仍时
介绍了不间断电源的组成,用途和工作过程,简要分析了我国公共电网的现状,广电中心用电的特点和不间断电源在广电工艺技术环境中的运用,说明了几种较为适用可行的不间断电源的设置