近年来,卷积神经网络（Convolutional Neural Networks,CNN）模型广泛应用于计算机视觉、自然语言处理、语音识别等任务中,取得了令人瞩目的成绩。以图像分类任务为例,2015年Resnet模型准确率成功超过人类水平,之后高质量模型也不断推陈出新,将模型准确率推向更高的水平。但是,上述成绩通常以模型的冗余计算为代价,通过将模型进行堆积叠加来获取更好的精度,导致当前构建的模型往往很大、运算复杂。而实际中所用到的智能手机、无人机等运算受限设备,往往需要考虑存储、推理时间及能耗等一系列问题,致使当前较大的模型并不适合实际部署在这些设备中。对此,本文使用训练后量化方法对模型进行压缩加速,以解决上述提到的CNN模型应用部署难问题。针对当前训练后量化存在量化模型依然含有浮点运算,导致硬件设备运算效率不高问题,以及当前训练后量化过程需要使用到数据集进行量化微调或参数预估,而并不适合应用在数据敏感性场景问题,分别提出相应方法加以解决。本文提出使用对数量化策略,同时在对数量化的基础上进行改进优化,取得如下研究成果:1.针对训练后量化方法依然含有浮点乘法运算,导致运算效率不高问题,提出使用对数量化策略。通过分析硬件设备的运算特性,选择使用FPGA来部署CNN模型。针对FPGA计算资源有限导致浮点运算效率较低的问题,而当前常用量化策略依然含有浮点乘法算子,对此提出使用对数量化策略,使得量化模型仅含有整数乘法、加法及移位运算,能够加快量化模型的运算速率。实验结果表明,对数量化方法量化误差在1%左右,量化误差较大,对此分析了其产生的问题。2.针对对数量化存在的量化误差较大问题,提出基于数据标准差的对数量化改进策略。通过研究量化数据分布特点,提出基于数据标准差的激活量化及权值混合比特量化方法,能够有效减少量化损失。通过对Rep VGG、Efficient Net等网络进行效率与精度对比实验,8比特量化使得大型神经网络精度下降在0.5%左右;将激活量化为8比特,权重量化为10比特场景下,模型精度损失小于0.2%,达到浮点模型几乎相同的准确率。实验表明,所提量化方法能够使得模型大小减少75%左右,在基本保持原有模型准确率的同时有效地降低功耗损失、提高运算效率。3.针对数据敏感性场景下模型量化存在数据集不可用的问题,提出了一种无需使用数据集的量化方法。首先,依据批归一化层参数及图像数据分布特性,通过误差最小化方法获得模拟输入数据;然后通过研究数据舍入特性,提出基于损失最小化的因子动态舍入方法。通过对Ghost Net等分类模型及M2Det等目标检测模型进行量化实验,验证了所提量化方法对图像分类及目标检测模型的有效性。实验结果表明所提方法能够将量化误差降低至0.5%左右。