卷积神经网络的权重初始化研究及应用

来源 :青岛大学 | 被引量 : 0次 | 上传用户:xiaoxiaofan0303
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
当前,卷积神经网络已经在多个领域取得了巨大的成功。为了进一步提高卷积神经网络的效率,研究者们从多个角度提出了改进方案,主要包括:降低网络的过拟合,优化网络结构,跨领域的迁移学习以及高效的模型权重初始化等。现阶段,搭建一个优秀的网络模型通常需要进行大量的实验,模型参数的设置也往往依赖研究者的经验,没有很好的理论指导。针对网络模型的权重初始化问题,本文基于统计的方法,归纳总结了几种典型的卷积神经网络模型的预训练权重的分布特征,从这些分布特征来看,模型训练完成后权重值整体呈现向0方向偏移的特点,较正态分布,方差更小,分布峰值更高,且局部出现长尾的现象。基于这些分布特点,试想,网络模型的权重初始化直接采用这种分布是否能提高网络的效率?首先,本文通过对模型预训练权重做正态性检验,确定权重分布与正态分布的关联,然后采用了最大似然拟合方法与基于Kolmogorov-Smirnov(KS)统计量以及似然比的拟合优度检验相结合的方式探究了使用幂律分布拟合预训练权重分布的可行性,得出预训练权重存在局部幂律的性质。综合以上研究的结果,本文使用了调整正态分布方差的方式对预训练权重进行拟合,并提出基于方差调整的正态权重初始化方案。为探究该方案的有效性,本文以深度残差网络模型为基础,搭建了ResNet32模型,并在CIFAR-10数据集上进行了首轮实验,验证基于方差调整的初始化模型效果。结果证明,调整后的初始化权重分布与预训练权重的真实分布越相似,模型的效率越高,且与常用的Xavier和Kaiming初始化相比,精度得到一定提升。为了进一步验证基于方差调整的正态初始化的模型在实际应用中的有效性,第四章选取高空间分辨率(HSR)遥感影像的分类问题,在SIRI-WHU谷歌影像数据集上进行了第二轮的实验验证,从实验效果及模型效率上,均有不同程度的提升。
其他文献
命名实体识别是藏文信息处理的基础性和关键性任务之一,藏文命名实体识别就是从藏语文本中发现并分类命名实体,其效果会影响后续的藏文信息抽取和信息检索等任务的性能。当前
平潭岛是一个资源性缺水的海岛地区,水资源问题已严重制约了平潭综合实验区的发展,水资源的开发利用成为解决岛内水资源短缺的重要途径。在充分利用地表水资源的基础上,如何
世界经济在保持超高速发展的同时,各类能源短缺以及环境污染问题也变得愈发严重。尽管各国都致力于清洁可再生能源的研究,但是石油燃料的生产和消费依旧占主导地位,且持续增
无线传感网通常由具有有限资源的传感器节点组成,并运行在无人区域或恶劣环境中,这使它比传统网络更容易受到安全威胁。近年来,各种基于机器学习的入侵检测技术在无线传感网
调频信号作为一种典型的非平稳信号,广泛应用于声纳、雷达、激光等研究领域。调频信号的稀疏表示是众多领域的共性基础问题,对调频信号的采样、检测、压缩和滤波具有重要的作
随着多媒体和互联网技术的不断进步与发展,音频信号作为多媒体信号的重要组成成分,对其进行信息处理与挖掘受到越来越多研究者的青睐,而处理这些音频信号的方法也多种多样。
红外技术在夜视、导弹制导、空间遥感,天文学等地球表面和空间领域具有极其重要的应用。由于地球大气对红外辐射的吸收和散射,大气红外透过率是影响红外目标探测的一个重要因
随着云计算、大数据、移动和社交网络的快速发展和企业数字化转型的加速,数据将继续呈指数级别爆炸式增长。面对快速增长的数据总量以及对访问实时性越来越高的要求,现有的存
电流检测技术的精确度和可靠性影响着电力系统的稳定运行,随着我国经济快速发展和电网电压等级的不断升高、容量不断扩大,电力系统对电流检测技术的要求也逐步提高。近年来,
我国农业生产中,耕地基数大优质耕地少,土壤肥力尚不能完全满足农业生产需求,局部地区粮食产量低下。青川县地处四川盆地北缘山区地带,多为中低产田地,优质耕地甚少,粮食产量