模型压缩是当前深度学习技术从实验到实际落地部署的一个重要环节,涉及到的主要方法包括轻量化模型设计、低秩分解、剪枝、量化和知识蒸馏等,随着深度学习的广泛应用,模型压缩技术逐渐成为该领域的研究热点之一。本文重点对面向图像数据的目标检测问题进行模型压缩研究,一方面,图像信息的维度较高,在进行网络推理时需要巨大的参数量和浮点运算量;另一方面,相比于图像分类问题,目标检测的应用范围更加广泛,问题更加复杂,因此对其进行研究具有重要意义。首先,改进了基于残差模块的批归一化剪枝算法。考虑到多个残差模块不同层之间的通道限制,使用Group Lasso正则化对多个有联系的层的对应通道同时稀疏化,从而保持剪枝后结构对齐;以往的批归一化剪枝过程并未考虑偏置项的影响从而导致剪枝前后性能存在较大差异,本文通过推导将剪枝后的偏置项融入到其他层当中,从而提升剪枝的效果。实验表明,针对两种不同特点的网络,两种改进分别起到了显著的效果。其次,将剪枝前后的模型分别作为教师网络和学生网络进行蒸馏,弥补因剪枝带来的模型精度损失。由于教师网络和学生网络模型容量的差异,且教师网络中的部分预测错误会对学生网络造成困扰,因此希望将最有用的关键信息传递给学生网络。基于上述问题,本文提出了基于中间特征的关键信息蒸馏和基于网络输出的关键信息蒸馏,提取教师网络中最关键的信息,传递给学生网络。实验表明,这种方法可以显著改善蒸馏效果,使学生网络的精度接近甚至超过教师网络。最后,基于以上剪枝和蒸馏获得的模型,进行量化和部署,在NVIDIA GPU和ARM两种不同的硬件平台上测试检测精度和推理时间,并将剪枝前后、不同量化位数、不同硬件平台上的模型推理时间进行对比分析。实验发现,网络能够在精度无损的情况下部署到两种硬件上,且本文的剪枝、蒸馏和量化算法流程在保证模型精度的同时对于模型推理速度有显著的提升。