神经网络剪枝是神经网络模型压缩的常用方法之一,剪枝算法通过移除网络中的冗余权重实现模型压缩。通道粒度是神经网络剪枝粒度之一,通道级剪枝算法将每个滤波器中的权重作为整体进行移除,减少了卷积神经网络中的通道数量,降低了权重与输入特征图的计算复杂性。由于通道级剪枝保留了矩阵运算的结构化特性,使用通用软硬件,即可实现推理加速,因此通道级剪枝算法广泛用于卷积神经网络的模型压缩场景。绝大多数的神经网络剪枝方法仅关注了压缩后的稀疏模型的推理性能,而忽略了由于使用剪枝算法带来的高昂训练开销。由于神经网络的体量巨大,训练神经网络需要极大的计算开销,当使用剪枝算法对模型进行压缩时,网络的训练开销将进一步增加。额外开销的来源包括但不仅限于以下两方面:（1）剪枝算法评估权重贡献度带来的额外计算。（2）冗余权重移除后的模型微调计算。此外,现有的剪枝方法超参数的设定需要一定的先验知识,当模型或任务发生改变,超参数的设定值将发生改变,无法实现对数据集和网络模型的自适应,因此具有一定的局限性。本文对神经网络剪枝的训练过程进行优化,针对不同初始化方式设计不同的剪枝策略,围绕着神经网络通道剪枝算法的训练优化,开展了一系列工作,具体包括以下两个方面:（1）基于动态阈值与二值化掩码的神经网络剪枝算法本文针对使用分布函数初始化神经网络模型的剪枝问题,提出了一种通道级剪枝算法DMCP。DMCP算法为每个卷积层绑定了一个可训练阈值,并为卷积层的每个通道绑定一个二值化掩码。掩码的取值根据通道权重与阈值计算得出,且随着网络训练过程动态变化。DMCP算法利用得出的掩码值将冗余通道权重归零,使冗余权重对预测目标不产生贡献,实现了在权重移除前后,模型预测结果不发生变化,从而减少了微调步骤,降低稀疏模型的训练开销。实验结果表明,DMCP算法能够显著地降低模型参数的数量。由于DMCP算法对ResNet网络加入了深度自适应,在使用ResNet模型的任务中,DMCP剪枝算法精确度甚至优于未剪枝的完全模型。（2）基于二值化掩码的迁移学习剪枝算法本文针对使用预训练模型初始化的迁移学习任务的剪枝问题,提出了一种通道级剪枝算法MCPT。MCPT算法在迁移学习过程中进行通道重要性筛选,并使用掩码标记冗余通道。与其他方法不同,在MCPT算法中,冗余通道的标记是可恢复的。通过这种设定,将迁移学习过程与剪枝过程融合,简化了迁移学习的剪枝流程。MCPT使用掩码对冗余通道权重归零,使冗余权重对预测目标不产生贡献,从而消除微调过程带来的训练开销。从实验结果上看,MCPT算法除减少了迁移学习剪枝过程的训练开销外,还减少了 40%至85%的模型参数数量。