【摘 要】
：
近年来,在大数据与高性能计算平台的支撑下,深度神经网络DNN模型因为其强大的非线性拟合能力,高度的特征抽象能力和自动特征表达能力,已成为许多机器学习应用程序的首选方法之一。但随着网络的不断深入,在一个较小的网络设备上部署具有大量参数的网络变得越来越困难,并且在时间敏感的场景下应用也受到了限制,因此模型压缩成了重要的环节。我们知道权重和激活量化是深度神经网络（DNN）压缩的重要备选方案之一,并且可以
论文部分内容阅读
近年来,在大数据与高性能计算平台的支撑下,深度神经网络DNN模型因为其强大的非线性拟合能力,高度的特征抽象能力和自动特征表达能力,已成为许多机器学习应用程序的首选方法之一。但随着网络的不断深入,在一个较小的网络设备上部署具有大量参数的网络变得越来越困难,并且在时间敏感的场景下应用也受到了限制,因此模型压缩成了重要的环节。我们知道权重和激活量化是深度神经网络（DNN）压缩的重要备选方案之一,并且可以利用位操作兼容来提高推理速度,但是量化模型和全精度模型相比,在精度准确性等方面仍然存在进步的空间。为了减小这一差距,我们借鉴并改进前人提出的可训练的量化方案。更具体来说,本文提出的可训练的方法KL-QEM算法能够进行任意位精度网络权重和激活的量化,此外在衡量量化误差分布上,改进了分布差异的衡量标准,用KL散度代替原来的分布差异函数。同时本文详细地介绍了KL-SN Quantization Net的原理细节且在量化网络KL-SN Quantization Net中加入了谱归一化操作,增强了模型的泛化性和鲁棒性,提升了模型的性能。最后文中在CIFAR-10数据集和MNIST数据集上进行的综合数值实验,其结果表明本文的量化方法对于VGG-Net和Res Net等网络运行良好,显示出了很好的鲁棒性,并且在准确率和时间方面比以前的量化方法有所提升,进一步表明了所提出算法的有效性。
其他文献
非负矩阵分解算法是机器学习中重要的非监督分类算法之一,由于其具有丰富的可解释性以及和聚类方法之间的密切关系,使得其常常作为研究工具应用于网络分析的相关工作中。在本文中,我们将网络的概念引入进来帮助我们以另一个角度对中国经济区域划分进行研究。在使用非负矩阵分解算法基于中国31个省份及自治区近20年的GDP总量、GDP指数及人均GDP三项指标进行聚类分析的基础上我们还引入了邻接矩阵,即将各省之间相邻地
本文主要研究了在白噪声的影响下两类不同的肿瘤-免疫系统的动力学行为.系统一描述了肿瘤细胞、效应细胞与白细胞介素-2之间的增长与抑制机制,系统二描述了肿瘤细胞、辅助性T细胞与CTLs细胞之间的相互作用关系.应用的研究方法主要有随机Lyapunov分析,随机比较定理、Chebyshev不等式以及强大数定律等.首先,我们介绍了两类随机肿瘤-免疫系统的由来,通过构造适当的随机Lyapunov函数,证明了肿
在雾天条件下拍摄的图像的能见度通常要比正常条件下拍摄的图像差很多。本文基于秩一先验（Rank-1 Prior）,通过结合高阶微分算子（High-order Differential Filter）,推广了既有的、基于全变分先验（Total Variation Prior）即TV先验的优化模型,从而给出了一种全新的、有效的正则化方法。我们通过正则化模型（Regularization Model）对用
实际生活中,在图像采集以及传输过程中会产生模糊,根据产生模糊的类型不同,可分为平均、高斯以及运动三种模糊。图像恢复是通过对观察到的失真图像进行处理,使得恢复图像满足视觉上的要求,属于病态问题。直接求解该病态问题,通常得不到满意的结果,正则化方法是求解病态问题的有效方法。近年来,有很多针对图像恢复的模型,例如经典的Rudin-Osher-Fatemi（FOR）等模型,但传统模型会产生阶梯效应。所以有
本文主要研究了列联表中边际集可约和可分解两种情况,其中边际集可分解是边际集可约的特殊情形.首先在可分解图模型Markov基的基础上,通过对具有一个以上元素的度为2的列联表集的研究,给出了唯一极小Markov基存在的充分必要条件,并以具有三维边际D={{1,2,3},{2,3,4}}的四维表为例,给出其唯一极小Markov基.该唯一极小Markov基可用于在给定充分统计量的情况下,对列联表的精确检验
图像复原问题是图像处理领域的关键问题,本文围绕遭受浑浊介质（如沙尘暴、水下和雾霾）中的图像复原问题开展研究.近年来,关于这类问题的研究有大量的成果,但是大部分的研究成果是基于暗通道先验（DCP）.在暗通道先验的方法中传输映射则是其中的一个核心问题.在传输映射的获取过程中,直接用暗通道先验获取的是一个初始的传输映射,我们需要对这个初始的传输映射进行细化.本文主要研究基于秩一模型的传输映射优化算法,高
本文主要研究了两类随机系统.第一个系统是随机肿瘤-免疫系统,首先证明了该系统全局正解的存在唯一性,其次证明了系统解的随机最终有界性,并给出了肿瘤细胞持久和灭绝的充分条件;第二个系统是带有Holling-II和Holling-IV功能反应的随机捕食者-食饵系统,包括一个食饵,两个捕食者.对于该系统首先证明了全局正解的存在唯一性,其次证明了系统解的随机最终有界性,并给出了所有物种均值持久和灭绝的充分条
党的十八大以来,意识形态工作所面对的国内国际环境日趋复杂,矛盾更加尖锐,对我们党在新的征程上如何筑牢抓实意识形态建设与工作提出了更高层次的全新要求。习近平总书记以超乎常人的政治智慧与勇气担当,将意识形态建设与工作视作为一项极其重要的工作,并多次在面向不同群体的座谈会中指出意识形态工作的重要性、地位任务等,对这项工作提出新的发展要求。这些重要论述极大地丰富了马克思主义科学理论体系,凝聚了最广大人民群
在本篇硕士论文中,我们研究了两种情况下的时谐电磁散射,其中反散射体可以是一对电磁源,或者是一个非均匀介质,两者都具有紧支撑.我们主要关注通过单一远场测量来恢复散射体支撑的几何反散射问题.假设散射体的支撑（局部）具有圆锥形奇点.我们建立了当隐形发生时散射体的局部特征,证明了其物理场一定在圆锥点附近消失.利用这一特征,我们建立了上述反散射问题的几个局部和全局唯一性结果,证明了可见性必然意味着唯一恢复.