论文部分内容阅读
物体识别与检测是计算机视觉领域中的两个基本任务。在物体识别任务中,对于输入图像,需要通过算法判断图像中的物体属于预定义的多个类别中的哪一个类别;而物体检测任务需要同时确定图像中出现的物体类别及其所在的位置。随着近年来深度学习技术的飞速发展,使用深度神经网络进行物体识别与检测实现了远超传统方法的性能。然而,在将高性能的物体识别与检测模型部署至资源受限场景时,深度神经网络自身参数规模大、计算复杂度高的缺点开始逐渐显现。为了进一步扩展深度神经网络模型的应用场景,本文针对面向物体识别与检测的高效率的深度神经网络模型,从两个不同角度开展了研究:1)针对现有的神经网络模型进行压缩;2)根据目标任务特点设计新的高效率神经网络模型。本文主要工作和创新点包括如下三个方面:第一,针对物体识别模型中滤波器间存在相关性导致参数量和计算量冗余的问题,提出了一种基于网络参数去相关约束的网络模型压缩方法,与稀疏约束共同使用时可以得到稀疏度更高的网络模型。本文从现有的稀疏约束压缩方法入手,通过分析稀疏约束生成的稀疏网络,得到对稀疏网络进行进一步压缩与网络滤波器相关性之间的联系。之后提出通过去相关约束减少网络滤波器相关性,并引入了稀疏掩码操作,以解决稀疏约束与去相关约束联合优化困难的问题。考虑到网络初始化时的初始参数对优化过程会产生影响,提出了去相关初始化方法以辅助网络去相关训练,进一步减小网络计算复杂度。在多个常用数据集上的实验结果证明了提出的方法可以实现比现有稀疏约束方法更高的网络压缩效果。第二,针对基于角点的物体检测模型存在的角点特征错位问题,提出了一种基于角点特征增强知识蒸馏的网络模型压缩方法,通过提供更有效的角点特征监督信息,在相近的模型复杂度下实现了更高的检测性能,扩展了知识蒸馏方法在物体检测模型中的应用范围。考虑到基于角点的物体检测算法对角点特征的强依赖性,在提出的知识蒸馏方法中,将教师网络的角点特征图使用物体全局特征进行增强,并使用增强后的特征图后作为额外监督信息训练学生网络,以此帮助学生网络生成包含更多物体全局信息的角点特征图。同时为了进一步提升学生网络的角点特征提取能力,将角点位置作为先验信息加入可变形卷积中,提出了角点可变形卷积。相比现有的角点池化操作,角点可变形卷积可以更好地在角点处提取物体整体特征。实验结果显示,使用提出的方法可以使学生网络学习到更好的角点特征表达。第三,针对物体检测模型对物体尺度变化敏感的问题,提出了一种尺度解耦特征金字塔网络设计方法,通过对骨干网络与特征融合模块进行联合设计,在显著提升模型对尺度变化鲁棒性的同时避免了计算复杂度的大幅增加。为了缓解特征金字塔网络中高层特征图受到不同尺度监督信息干扰的问题,使用多分支结构生成针对不同尺度物体的高层特征图,并在每个分支内分别进行特征融合,使用融合后得到的特征金字塔对不同尺度物体进行检测。由于保持了输出特征图和后续检测头网络与传统特征金字塔网络相同,没有增加头网络与后处理部分的计算复杂度。为了进一步提升不同分支对不同尺度物体的适应能力,提出使用双线性插值将卷积空洞率转化为可学习参数进行优化。为了避免由于使用双线性插值而带来计算复杂度增加,引入了梯度直通估计以直接学习整数值卷积空洞率,在网络计算复杂度和检测性能之间取得了更好的平衡。在多个物体检测数据集上的实验结果显示,使用提出的方法在不同物体尺度上都带来了明显的性能提升。