论文部分内容阅读
近年来,卷积神经网络在计算机视觉领域取得了巨大成功,其在不断提高图像分类、目标检测和图像语义分割等任务精度上限的同时,模型尺寸与运行时间也在急剧增加。由于移动端设备存在存储空间和计算能力的约束,使得现有卷积神经网络无法在这些资源受限设备上进行很好的部署和应用。在这种情况下,研究人员通过设计高效的卷积结构来代替传统网络中的标准卷积层,以达到减小模型参数量和运算量的目的,但是此类方法仍然存在模型泛化能力低、特征信息退化严重等问题,难以真正做到参数量、运算量和精度之间的平衡。针对以上问题,本文在现有卷积神经网络的基础上,从优化模型复杂度和提升模型性能两方面出发,进行了轻量级卷积神经网络研究。
具体的,本文通过对目前主流的卷积神经网络结构进行分析,构建了一种轻量级卷积神经网络,取名为SplitNet。该网络结合了不对称深度可分离卷积和指数分组融合卷积两种空间卷积分离策略,极大的降低了模型参数量和运算量,解决了经典卷积神经网络中存在的模型尺寸大、运算时间长等问题。此外,通过高效激活函数、加权池化和基本单元中多尺度卷积的使用,保证了模型精度。为了评估SplitNet的整体性能,将其与常用的卷积神经网络进行了对比实验。实验结果表明SplitNet在图像分类任务中保持了较低的参数量和运算量,同时拥有最高的模型精度。因此,可以将其部署到移动端设备上面来提供各种视觉相关的智能服务。
此外,为了进一步减小SplitNet模型尺寸,本文提出了一种PQC模型压缩算法,该算法包含双阶段动态剪枝、迭代指数量化和静态算术编码三个阶段。双阶段动态剪枝过程中,会动态的根据信息熵和批标准化中的尺度因子来剪掉网络中冗余的权重参数,在迭代指数量化阶段,则会对卷积核参数进行低精度表示,最后通过静态算术编码对网络模型进行了进一步压缩。经过这三阶段处理,可以依次将原始卷积神经网络变成稀疏网络、低精度网络和小尺寸网络。实验过程中为了验证PQC模型压缩算法的有效性和优越性,首先在AlexNet和VGG16上进行了压缩实验,然后比较了该算法与目前常用的深度压缩算法在压缩倍数和压缩后的精度上两方面的性能。实验结果表明PQC模型压缩算法在精度损失更小的情况下,可以取得更大的压缩倍数。因此在实验的最后用该模型压缩算法对本文提出的轻量级卷积神经网络进行了压缩,得到了参数所占存储空间仅为0.87MB的模型,该模型具有很高的存储效率和运算速度,满足在资源受限的设备上部署和应用的工业需求。
具体的,本文通过对目前主流的卷积神经网络结构进行分析,构建了一种轻量级卷积神经网络,取名为SplitNet。该网络结合了不对称深度可分离卷积和指数分组融合卷积两种空间卷积分离策略,极大的降低了模型参数量和运算量,解决了经典卷积神经网络中存在的模型尺寸大、运算时间长等问题。此外,通过高效激活函数、加权池化和基本单元中多尺度卷积的使用,保证了模型精度。为了评估SplitNet的整体性能,将其与常用的卷积神经网络进行了对比实验。实验结果表明SplitNet在图像分类任务中保持了较低的参数量和运算量,同时拥有最高的模型精度。因此,可以将其部署到移动端设备上面来提供各种视觉相关的智能服务。
此外,为了进一步减小SplitNet模型尺寸,本文提出了一种PQC模型压缩算法,该算法包含双阶段动态剪枝、迭代指数量化和静态算术编码三个阶段。双阶段动态剪枝过程中,会动态的根据信息熵和批标准化中的尺度因子来剪掉网络中冗余的权重参数,在迭代指数量化阶段,则会对卷积核参数进行低精度表示,最后通过静态算术编码对网络模型进行了进一步压缩。经过这三阶段处理,可以依次将原始卷积神经网络变成稀疏网络、低精度网络和小尺寸网络。实验过程中为了验证PQC模型压缩算法的有效性和优越性,首先在AlexNet和VGG16上进行了压缩实验,然后比较了该算法与目前常用的深度压缩算法在压缩倍数和压缩后的精度上两方面的性能。实验结果表明PQC模型压缩算法在精度损失更小的情况下,可以取得更大的压缩倍数。因此在实验的最后用该模型压缩算法对本文提出的轻量级卷积神经网络进行了压缩,得到了参数所占存储空间仅为0.87MB的模型,该模型具有很高的存储效率和运算速度,满足在资源受限的设备上部署和应用的工业需求。