深度神经网络的模型压缩方法研究

来源 :清华大学 | 被引量 : 0次 | 上传用户:sufe_
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着大数据的推动和算力的提高,卷积神经网络(CNN)在人脸识别,对象检测,追踪和图像分割等方向获得了巨大成功。为了提高模型的表现,学术界近几年设计出的网络结构更加深,计算复杂度更加高。这些大型网络模型可以在机房良好运行,却受限于计算资源和功耗,难以部署到移动设备中,比如智能手机和集成设备。在这种背景和需求下,模型压缩的解决方案受到广泛的关注,其中剪枝技术由于其较大的压缩率和加速能力获得了巨大的研究热度。通过该方法,可以将大模型压缩至表现力近似的轻量级模型,将其移植到移动设备中,使得学术界的产物可以在工业界实现价值。本文从两个不同角度,提出了相应的基于剪枝的模型压缩算法。本文提出和验证了剪枝位置对于剪枝任务的重要性,提出一种基于剪枝位置学习的卷积核剪枝方法。考虑到神经网络具有顺序的层级结构,利用长短期记忆网络(LSTM)作为生成剪枝位置决策的控制器。首先,将待剪枝的神经网络转化成字符串表示,输入到LSTM,为每个网络层输出是否剪枝的决策。根据LSTM的决策,本文提出一种基于通道集的卷积核评估方法来挑选指定层应该剪枝的卷积核,并提出一种恢复机制初步恢复剪枝带来的精度损失。然后,对剪枝后模型的精度和复杂度进行加权,得到一个激励值,利用策略梯度算法来更新控制器LSTM的参数。为了解决剪枝任务带来的精度下降问题,本文提出一种基于注意力机制的卷积核自适应剪枝方法。作者设计了一种基于特征通道的注意力模块SEP,利用该模块对基线模型进行重构并训练。SEP模块将每一层的特征图作为输入,输出其下一个卷积层的重要性权重向量,并将低重要性权重置零。SEP是一种数据依赖的卷积核评估方法,对于不同的输入样本,SEP选择不同的卷积核参与前后向传播和计算,其余卷积核被忽略。本文设计了详细和全面的实验,为了验证本文的算法具有普适性,在Cifar-10,Cifar-100和MNIST三个数据集上,对VGG19,Res Net56和全连接网络三个不同的网络结构进行实验,并将实验结果与目前效果较好的一些算法进行比较和分析。实验结果表明,本文提出的算法可以在压缩模型复杂度的同时,尽量保持大模型的精度,相比于对照方法具有一定的优势。
其他文献
随着人们生活品质的提高,对服装织物的抗皱性品质要求越来越高。传统织物折皱等级分类一般都是靠人的主观观察来得出结论,虽然经验丰富的专业人员的观察结果有很大的可靠性,
目标跟踪技术是计算机视觉领域中非常关键的一项技术,主要应用在重要的公共场所,如机场、车站、银行、地铁等,进行安防。纯目标跟踪算法跟踪精度很低,达不到真实的跟踪效果。
医学图像分割作为图像分割的较早应用领域,是医学图像分析的关键技术,也是临床应用的重点和难点。我们可以通过分割算法提取出医学图像中的感兴趣区域并单独显示,从而更直观
目的:评价欧洲白血病网(ELN)指南推荐的(慢性髓系白血病)CML管理建议对我国(慢性髓系白血病慢性期)CML-CP患者的适用性,分析我国多中心对一线伊马替尼(IM)耐药或不耐受的初诊CML-CP患者转换二线尼洛替尼治疗的临床数据,比较维持一线伊马替尼和转换二线尼洛替尼的临床疗效差异及用药安全性,评估换药原因、转换时机及预后风险评分等因素对换药后疗效的影响,以优化临床疗效监测及TKI维持或转换时机
目的1.对于乳牙列期前牙反(?)儿童,单纯腺样体病理性肥大、单纯扁桃体病理性肥大及腺样体合并扁桃体病理性肥大对其颌骨形态产生的影响。2.对于混合牙列期前牙反(?)儿童,单纯
近年来,二维材料因其优异的力学性能、电学性能,在可穿戴领域有广泛的应用。相比于传统硅晶体,石墨烯、过渡金属硫属化合物等典型二维材料具有高的载流子迁移率和更高的机械
由于卫星机载存储技术、图像带宽传输技术以及经济因素的限制,一幅遥感图像很难在提供了高空间分辨率的同时具备精确的光谱信息。随着遥感图像越来越广泛地被应用于社会生活
无线传感器网络由于其低成本,低功耗、自组织等特点,被广泛应用于环境监控、医疗保健和工业生产等领域。在有些特殊的应用场景如工业控制中,数据的传输不仅需要考虑传输的可
相对于传统虚拟化技术而言,轻量级虚拟化技术提供了一种更为轻简的虚拟机部署与管理模式。以容器为典型代表的轻量级虚拟化技术,推动了PaaS的发展、且有利于更广泛地进行云部
行人检测和行人重识别是计算机视觉领域极具挑战性的研究课题,是智能监控系统和智慧城市构建中的重要环节,以其重要的理论意义和使用价值受到学术界和工程界的广泛关注和研究