近些年来,卷积神经网络已然成为计算机视觉领域的默认支柱性方法。无论在高级视觉任务(如分类、检测),还是在低级视觉任务(如神经风格迁移、超分辨率),都取得了令人瞩目的成果。然而,卷积神经网络往往参数量巨大,导致所需要的存储量、计算量、能耗均比较大,这严重限制了它们的实际应用。模型压缩是一个剔除深度神经网络冗余度从而降低存储量、加快速度的新兴研究领域。在本论文中,作者提出了两种结构化剪枝算法(SPP和IncReg)用于在分类任务上对现代深度神经网络进行加速。同时,在低级视觉领域中的风格迁移问题上,作者基于知识蒸馏提出了 StyleDistill模型压缩方法对VGG19网络进行剪枝。与本领域其他最优方法相比,本文中充足的实验验证了这三种方法的有效性。本文具体的创新点和贡献总结如下:1.参数剪枝是一类很有潜力的模型压缩方法,其目标是剔除掉网络中无用的参数同时保持精度不大幅下降。在众多的剪枝方法中,结构化剪枝是为了产生规整的稀疏性从而可以实现加速而非存储量上的压缩。对剪枝而言,一个至关重要但目前仍未解决的问题是参数的相对重要性标准,它对于剪枝性能有着很重要的影响。由于神经网络的严重非凸性与过参,提出一个理论上完备、实际中可行的重要性标准是极其困难的。所以,本论文中,作者提出换一个角度提升剪枝性能,即设计一个更好的剪枝过程。基于这样的思想,SPP算法被提出。它对网络中每一个权重分配一个剪枝概率,从而使得原来离散的剪枝变得连续化,这样有利于网络在剪枝过程中自我调整、恢复。同时,通过调整这些剪枝概率,我们还可以纠正由于参数重要性标准(如L1-norm)不够完善而导致的误判。SPP算法配合列剪枝在大型卷积网络(AlexNet,VGG16,ResNet50)在ImageNet数据集上得到了良好的结果。但是其缺点是训练中不够稳定。为了解决这个问题,作者进一步提出IncReg算法。与SPP算法不同,IncReg是基于正则化的剪枝算法。IncReg以一种增量的方式来调节L2约束项前的系数。和SPP一样,IncReg也具有纠正参数重要性误判的情况,且比SPP的剪枝过程更加平滑。这对于剪掉大量参数和剪枝紧凑网络(如ResNet)的场景特别有用。IncReg最终获得了比SPP和其他众多本领域最优算法更好的结果。2.除了高级视觉任务上的模型压缩,本文还关注低级视觉,在这些领域CNN的实际应用也很大程度上被其复杂度所限制。具体来说,本文关注的是风格迁移任务。作者基于知识蒸馏提出了 StyleDistill算法来对VGG19网络的滤波器进行剪枝。配合风格化算法lNWCT,本文压缩完的模型尽管只有原模型的1/15.5大小,但仍具有同样甚至更优的风格迁移效果。更重要的是,基于该小模型,我们首次可以在12GB GPU上实现超高分辨率(超过4千万像素)的任意风格迁移。为了验证所提出的方法的通用性,本文还在照片风格迁移(基于PhotoWCT算法)和基于优化的风格迁移(基于Gatys算法)场景下评估了压缩后的模型,依然取得令人鼓舞的效果。