深度神经网络（DNN）在计算机视觉、自然语言处理和优化控制等各种任务中得到了广泛应用。随着DNN设计的越来越深,高计算资源需求阻碍了其在嵌入式设备上的大规模应用。面对这一问题,人们提出了各种压缩技术,包括剪枝、量化、蒸馏等。而在嵌入式设备的神经网络推理加速硬件上,提高DNN计算效率最普及的方法是使用较低精度的网络表示,即量化。大多数关于神经网络量化的方法都涉及到从头开始的训练,或者作为预先训练的浮点精度模型的微调步骤。但训练需要时间、人力和计算资源。重训练和微调都依赖全尺寸的数据集,由于各类的原因,如隐私和知识产权保护,特别是在航天航空等领域,原始数据集无法获得。本文研究了训练后量化问题,即在不重新训练模型的情况下,对预先训练好的深度神经网络的权重进行离散化。这种方法被称为训练后量化,只需要一个小的校准数据集。本文研究了卷积神经网络（CNN）的计算特性,选择了目标检测任务中应用最广泛的网络YOLO（You Only Look Once）作为研究对象,在不需要重训练及微调的情况下,对已训练好的浮点模型进行量化,分析了网络的量化噪声。在应用动态量化之前,折叠卷积层与批量归一化层,加快模型推理速度;并通过优化张量离群值缩小量化范围,减小量化误差。本文对预先训练好的YOLOv3网络进行量化,将网络权重和偏置使用动态定点数表示,设计了动态量化指数管理算法,并针对网络输出层进行了优化,减小了量化导致的预测框误差。在全定点化的计算平台上进行量化后网络的推理,使用PASCAL VOC2007测试了不同量化位宽对模型精度的影响。本文对YOLOv3量化网络进行了层级优化,通过放大数值范围较小的通道和补偿下层对应通道,用高效的贪婪选择程序构建多层间均衡量化。网络中前一层的噪声会被带入下一层中,在参数较少的浅层中,量化的舍入误差使激活值产生了偏移。通过在卷积层将偏置减去该层激活值偏移的统计值,可以修正此误差,减小量化网络的退化。在不重训练和微调的情况下,对YOLOv3进行INT8动态量化并优化,精度损失小于0.5%,实现量化模型的快速部署。