论文部分内容阅读
当前,卷积神经网络已经在多个领域取得了巨大的成功。为了进一步提高卷积神经网络的效率,研究者们从多个角度提出了改进方案,主要包括:降低网络的过拟合,优化网络结构,跨领域的迁移学习以及高效的模型权重初始化等。现阶段,搭建一个优秀的网络模型通常需要进行大量的实验,模型参数的设置也往往依赖研究者的经验,没有很好的理论指导。针对网络模型的权重初始化问题,本文基于统计的方法,归纳总结了几种典型的卷积神经网络模型的预训练权重的分布特征,从这些分布特征来看,模型训练完成后权重值整体呈现向0方向偏移的特点,较正态分布,方差更小,分布峰值更高,且局部出现长尾的现象。基于这些分布特点,试想,网络模型的权重初始化直接采用这种分布是否能提高网络的效率?首先,本文通过对模型预训练权重做正态性检验,确定权重分布与正态分布的关联,然后采用了最大似然拟合方法与基于Kolmogorov-Smirnov(KS)统计量以及似然比的拟合优度检验相结合的方式探究了使用幂律分布拟合预训练权重分布的可行性,得出预训练权重存在局部幂律的性质。综合以上研究的结果,本文使用了调整正态分布方差的方式对预训练权重进行拟合,并提出基于方差调整的正态权重初始化方案。为探究该方案的有效性,本文以深度残差网络模型为基础,搭建了ResNet32模型,并在CIFAR-10数据集上进行了首轮实验,验证基于方差调整的初始化模型效果。结果证明,调整后的初始化权重分布与预训练权重的真实分布越相似,模型的效率越高,且与常用的Xavier和Kaiming初始化相比,精度得到一定提升。为了进一步验证基于方差调整的正态初始化的模型在实际应用中的有效性,第四章选取高空间分辨率(HSR)遥感影像的分类问题,在SIRI-WHU谷歌影像数据集上进行了第二轮的实验验证,从实验效果及模型效率上,均有不同程度的提升。