基于正则化与相关性的深度神经网络剪枝方法研究

来源 :中国科学技术大学 | 被引量 : 0次 | 上传用户:sdfg444
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
深度卷积神经网络(Deep Convolutional Neural Network,DCNN)是一类令人瞩目的深度学习算法模型,在诸多实时计算机视觉任务和图像处理任务中取得了巨大成功。然而,包括ResNet和VGG网络在内的许多先进的DCNN模型往往含有数十亿个学习权重,且其推理需经历数十亿次浮点运算(FloatingPoint Operations,FLOPs),这对有限的内存资源来说是一个严重的问题。这些庞大复杂的模型有着繁重的推理代价,特别是当模型部署于电源受限的系统时,功耗过大,同时计算能力也可能不足。DCNN的实际应用通常受到了模型大小、内存占用和FLOPs数量的极大影响。DCNN的强大功能来自于其数量庞大且具有模型结构数据的学习权重。而在推理时,这些学习权重必须保存在硬盘和RAM中。此外,即便在只有一张输入图像的情况下,中间激活层操作在推理过程中也可能会比加载模型权重占用更多的RAM。另一方面,对高清图像的卷积操作计算量也非常巨大,进而为其实际应用带来障碍。因此,压缩DCNN模型的大小,使其在实际任务中同时具有低功耗和高计算能力,且在精度上无甚减少是至关重要的。针对上述问题,本文提出了相应解决方案。论文的主要工作和贡献总结如下:1.将有上限的L1-范数与常规L1-范数相结合,而两种范数的组合可在滤波器选择和正则化之间取得权衡。对几乎所有网络层选取L1-范数小的滤波器并置零,以便在后续的通道级进行修剪。进一步的正则化参数对性能几乎没有影响。修剪非关键通道可能暂时降低性能,但这种影响可以通过对修剪后的网络进行微调来补偿。与原始的宽架构网络相比,经过修剪的瘦身网络,在运行时内存占用、模型大小和计算成本方面都要紧凑很多。此外,所提出的方法在网络没有精度损失的情况下修剪了 56.4%的参数,取得了比其他先进方法更好的效果。在多个数据集上的实验表明,该方法可以压缩模型的大小并获得更好的精度;2.设计了改进的LASSO惩罚,也称为线性回归任务中的组LASSO惩罚。组LASSO惩罚可用于在组级别上强制执行稀疏性,如某组一旦被执行该操作则其中的所有成员全部置0。应用稀疏组LASSO还可以对非稀疏变量组实施进一步的稀疏性。本方法将单个特征图视为单个组,并将特征图中的权重作为组内数值。进而,利用优化策略可删除整个特征图及其对应的权重。所得到的瘦身网络架构具有更快的推理速度和更紧凑的模型尺寸。实验证明了该方法能有效解决模型尺寸过大的问题,并获得与未修剪模型相似的精度;3.提出了一种基于相关性的滤波器修剪方法(Correlation-based Filter Pruning,CFP)以训练更为可靠的卷积神经网络模型。与现有方法不同,CFP根据相关特征图中可用的信息量去除无用的滤波器。用相关性描述特征图所携带信息的重复程度,并设计了一个特征选择机制以生成修剪方案。迭代多次修剪和微调过程以获得纤瘦而密集的网络,同时保持与未修剪模型相似的精度。对不同先进网络在多个标准数据集上的实验验证了所提方法的有效性。例如,在ImageNet上修剪ResNet-50时,该方法去除了 44.6%的滤波器权重并节省了 51.6%的FLOPs,同时获得了 0.5%的精度增益。
其他文献
未来托卡马克放电将以高参数高比压运行为主,而随着等离子体比压增大,电磁湍流增强,其对约束输运的影响将会进一步增大,甚至可能超过静电湍流。因此,发展测量电磁涨落的诊断系统,对于未来磁约束聚变研究具有重要意义。交叉极化散射诊断系统通过接收来自于等离子体的垂直于入射极化方向的散射信号测量等离子体中的磁涨落,是研究等离子体中电磁不稳定性的重要手段。本论文的主要工作是完成了 EAST(Experimenta
学位
肿瘤诱导的免疫抑制是其逃避免疫监视和攻击的重要原因。尽管近年来靶向程序性死亡受体1(programmed cell death protein 1,PD-1)等的免疫治疗手段可以在一定程度上逆转肿瘤诱导的免疫抑制并取得了较好的治疗效果,但是目前响应率还很低,因此需要进一步阐明肿瘤诱导免疫抑制的细胞和分子机制。越来越多的证据表明神经系统在肿瘤生长和免疫调控中发挥重要作用。神经内分泌系统是神经系统的重
学位
恶性肿瘤是导致人类死亡的主要原因之一,近年来,人们已经开发了各种各样的方法用于肿瘤治疗。其中肿瘤微环境是肿瘤存在的细胞环境,在肿瘤进展、转移和免疫逃逸中发挥着关键的作用。它除恶性细胞外,还包括细胞外基质、血管和不同类型的基质细胞。由于癌细胞的代谢不同于正常细胞的代谢,肿瘤微环境出现了缺氧、血管生成、酸中毒、过度代谢、升高的氧化还原态等一系列典型特征。探索肿瘤微环境的特性及其在肿瘤发育中的作用,对于
学位
量子点发光二极管(QLED)表现出颜色可调、光谱窄等优势,在新一代超高清和广色域显示方面具有应用前景。目前,高性能的QLED器件主要采用掺杂ZnO纳米晶作为无机电子传输层,但存在电子迁移率过高导致电荷传输不平衡,以及缺陷态较多导致非辐射Auger复合等制约瓶颈。有别于无机电子传输层,本论文围绕基于有机电子传输层的红光量子点发光二极管作为研究主题,筛选出具有较深最低未占据分子轨道(LUMO)能级的三
学位
在反应堆冷却剂系统中,自然循环是一种重要的热工水力现象,因此常基于它进行比例模化研究。动态系统比例模化(DSS)方法是一种最新的比例模化方法,它基于两参数仿射法导出相似准则,且有潜力获得整个动态过程中的失真。然而目前基于DSS方法的自然循环相似准则尚未建立和应用能力发掘有限,因此本文围绕自然循环DSS方法开展研究。首先进行单相和两相自然循环DSS分析研究。针对单相自然循环,建立一个典型的单相热工水
学位
为了从根本上解决常规商业化锂离子电池在使用过程中可能出现的可燃有机电解液泄漏、燃烧、爆炸等一系列安全问题,研究者们提出利用不可燃无机固态电解质替代有机电解液来设计新型全固态锂电池。此外,全固态锂电池还有望突破商业化锂离子电池面临的能量密度瓶颈。然而,全固态锂电池的实际工业化应用在电解质和电极材料方面还存在诸多挑战。例如,电解质材料方面:目前还没有任何一种固态电解质可以同时满足工业化的所有需求,即高
学位
人体当中存在着许多对物理信号敏感的组织和器官,比如骨骼,皮肤,血管和神经等。受其启发,物理信号,如机械信号、磁信号、电信号、热信号、光信号和声信号,由于其比生物和化学信号具有更高的安全性、更低的成本和可调的局部特性,已经逐步开始应用于组织工程领域。但如何通过生物材料构建适宜的物理信号调控组织修复仍是亟待解决的问题。本论文主要围绕电,力,磁等不同物理信号设计制备了不同结构和性质的纳米生物材料,并对所
学位
上世纪末,Maurice Brookhart教授开创性地报道了一类阳离子α-二亚胺Ni(Ⅱ)/Pd(Ⅱ)催化剂,这也是后过渡金属配合物催化烯烃聚合领域的里程碑事件。近三十年来,为了提升α-二亚胺体系的催化性能,研究者们发展了诸多类型的配体修饰手段并取得了空前的效果,但仍然有一些关键问题没有得到很好的解决。例如:1)极性官能团与聚合物分子量之间的矛盾关系没有得到良好解决,高附加值的极性功能化超高分子
学位
近年来,随着等离子体参数的提高,环形聚变装置上的三维现象受到越来越多的关注。在反场箍缩(Reversed field pinch,RFP)装置上,三维准单螺旋(Quasi-single helicity,QSH)态下的等离子体约束能力得到了很大的改善,但其形成机制和控制技术仍需要进一步的研究。本论文基于RFP磁约束聚变实验装置科大一环(Keda Torus eXperiment,KTX)的参数进行
学位
随着无人机技术的发展,由旋翼无人机和机械臂组成的复合机器人系统逐渐成为目前机器人领域的一个热点研究对象。通过对机械臂的控制可以赋予无人机更多的功能从而执行更多元的任务。然而,由于旋翼无人机系统本身的欠驱动性及非线性,在引入机械臂之后,还需要解决两个机器人系统之间因耦合效应而带来的复杂协同控制问题,这在原本控制器设计的基础上又大大增加了难度。本文主要是研究旋翼飞行机械臂复合机器人系统的控制问题。考虑
学位