本研究的目标是在保留神经网络模型精度的前提下,提高模型的执行效率,降低模型的规模和执行时间。本文在充分调研的基础上,综合采取了量化感知训练和高性能整型计算两种方案,实现了软、硬件结合的优化加速。不同于以往的研究,本文的实验对象是已经被高度优化过的浮点模型,例如Mobile Net、Shuffle Net等等。它们的量化难度更高、挑战更大。对这些模型进行量化加速,可以为低功耗、高性能的嵌入式设备,提供深度神经网络部署的解决方案。本文的量化训练方案解决了多个量化难题。为了解决函数不可微分难题和浮点梯度更新的缺陷,本研究将量化模拟器引入量化训练的过程,在训练中用浮点数值模拟整型计算的结果。为了解决权重和激活值不充分量化的问题,本文创新性的提出了权重逆惩罚策略,以此消除权重的过于集中。为了降低量化后精度的损失,本文提出使用K-L散度、3统计法来评估最优阈值范围,实现量化精度的恢复。此外,针对Batch Normalization计算浮点均值和方差引发的量化问题,本文利用图重构算法予以解决并缓解了量化训练中的震荡。为更好加速量化后模型的执行,本文采取三种方式优化整型模型的部署。针对深度卷积神经网络的特点,本文引入Winograd算法降低卷积网络中乘法计算的次数,同时借助实验验证了不同卷积实现算法之间的加速比。和常用框架中使用的浮点运算SIMD指令集不同,本研究特意优化了整型运算SIMD指令,保证了整型量化模型在Intel/ARM等芯片上获得最优加速。此外,本文也借助Open MP为量化模型提供了多核并行执行,提高了网络运行的效率。本文使用了Image Net数据集作为验证数据,并从超过200个不同模型中,挑选出执行速度-精度曲线、参数量-精度曲线较优的模型作为实验对象。相关实验验证了本文的所有设计思路,并分别给出了量化训练和高性能执行的最佳实践。部分实验结果可以被用于模型量化和部署的经验性指导原则。实验结果表明本文的设计方案实现了所有预期指标,可以极大改善模型的执行速度-精度性价比。