基于量化方法的高精度神经网络压缩研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:baihe143
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,深度神经网络(Deep Neural Network,DNN)是人工智能领域一大热点研究方向。目前,深度学习在图像分类、目标检测、语义分割等多种应用场景下都取得了一系列亮眼的表现。随着深度神经网络体系结构的不断扩大和加深,神经网络的参数量、模型体积、计算量和网络的复杂度呈指数级增加,导致了其对训练与运行的设备及环境有了极高的要求和约束。在一些嵌入式系统和移动设备运行场景中,硬件条件对内存和计算性能要求极为苛刻。因此,如何在保持神经网络模型性能的前提下对模型进行压缩成为了一个亟待解决的问题。而当前神经网络压缩方法大多降低甚至极大损失了网络精度,很大程度上限制了其在工业应用上的落地。
  本文中,我们提出将量化作为一种减少深度神经网络过拟合以提高准确性的方法,并提出了一种具有泛化意义的高精度神经网络量化方法。在某种程度上,量化本质上是对权重表示施加了正则化。因此,量化不仅可以减少计算量和模型数据量,还可以解决神经网络中出现的过拟合问题,进而提高准确性。为了充分验证这一点,在本文中,我们在三类典型的任务上进行了增量量化的泛化实验:医学图像分割,图像分类和自动语音识别。在医学图像分割中,与MICCAIGland数据集上的最新技术相比,我们的方法可以将精度提高2.95%。在图像分类中,我们在ILSVRC-2012数据集上对广泛使用的卷积神经网络模型VGG-16进行了大量的对比实验。结果表明,本文提出的方法比VGG-16当前最优性能提升了1.33%。在自动语音识别中,我们对TIMIT数据集上的循环神经网络DeepSpeech进行了量化,并将识别准确度提高了13.57%。我们还讨论了量化比特位数和集成学习对神经网络性能的影响。实验结果表明,对于不同的任务和模型,我们将内存减少了3.5倍至6.4倍。
其他文献
随着脑神经科学的发展,神经形态计算领域引起了学术界广泛的关注。神经形态计算在各个研究领域有着巨大的潜在应用价值,譬如图像识别,癌症诊断,自动驾驶等等。为了进一步提升计算效率,需要研究制造低成本、高速率、低功耗的电子元器件。在本文中,我们研究了基于MoS2沟道的浮栅晶体管器件的突触特性,同时将器件的突触特性参数代入到搭建的监督学习网络进行仿真,实现对手写数字数据集识别的功能。本文的研究内容与工作成果
近年来,借助先进半导体工艺,相变存储器件相较于磁存储和CMOS存储技术更具性能优势而被广泛研究。然而,传统结构相变存储器件的发展依然存在着更低功耗、更高密度和更加小型化的瓶颈。碳纳米管在纳米电子学的应用为相变存储的发展带来了新的“灵感”,碳纳米管电极结构的相变单元具有相较于传统器件更低的功耗、更快的相态转变速度以及不需借助光刻工艺的器件尺寸更小化等优点,这一器件的提出被视为相变存储技术未来发展的重
近年来,3DXPoint技术使得相变存储器突破了存储容量小的限制,但是却带来了影响数据存储稳定性的热串扰问题;除此之外,随着存储单元尺寸减小到纳米数量级时,存储单元的接触热阻对3DXPoint存储器内的热传导的影响极大。因此,研究基于相变单元的3DXPoint存储器的热串扰及接触热阻对存储器的热影响尤为重要。  本文首先基于3DXPoint存储器的工作原理,利用COMSOLMultiphysics
增强现实(Augmented Reality,AR)是将计算机生成的虚拟物体嵌入到真实存在的现实场景中实现虚实融合,给人以视觉上增强了现实的体验,是虚拟现实(Virtual Reality,VR)的升级和发展。在增强现实系统中,虚实遮挡处理是虚实融合效果的关键,包括虚实遮挡关系判定和渲染两个环节。  本文主要对虚实遮挡关系判断和渲染两部分进行了研究,针对遮挡关系判断问题,在相机平移尺度基础上利用运
学位
在通信、雷达、电子对抗和航空航天等众多领域,频率源都是系统中的核心组件,全数字化的直接数字频率合成(Direct Digital Synthesis,DDS)技术更是得到了广泛的应用,但DDS杂散大的缺点也制约了它的发展。目前,DDS中除了数模转换器(Digital to Analog Converter,DAC)以外的杂散源都已经有了相应的对策,针对DAC非线性的影响却没有完全有效的解决办法。一
学位
准循环低密度奇偶校验(Quasi-CyclicLow-DensityParity-Check,简称QC-LDPC)码由于其编码简单并具有出色的纠正错误的性能而引起了大量研究者的关注,并进入相关的国际标准。LDPC码多采用迭代方式来进行译码,其Tanner图中的短环不利于算法的收敛。因此,如果要构造具有良好纠错能力的LDPC码,就必须尽量地消除Tanner图中的短环,达到增大圈长的目的。目前许多构造
作为唯一基于焦耳热效应工作的存储器,相变存储器(PCRAM)被认为是最有潜力的下一代主流非易失性存储器之一,然而传统硫系相变材料在尺寸微缩至几纳米时存储性能会急剧下降,制约了高存储密度PCRAM的发展。二维过渡金属硫化物(TMDs)具有与硫系相变材料相似的相转变行为,并且能够在超小尺寸下工作,有望在超高密度PCRAM开发方面取得突破。但由于二维TMDs材料温度场诱导的相变行为非常复杂,尚缺乏其热致
随着现代无线通信系统的迅速发展,微波器件也在不断升级换代,可以同时工作在多个频段的器件才能满足复杂电路系统的要求。分支线定向耦合器是微波电路中一种重要的无源器件,在微波电路系统中发挥着重要的作用,因此其双频及多频化的发展得到了广泛的关注和研究。  本文阐述了近年来双频及多频带分支线定向耦合器的实现方式和研究现状,并介绍了定向耦合器及微带线的基本理论。  本文分析了几种基于耦合线的双频阻抗变换器,通
忆阻突触阵列的存算一体化特点可以有效地解决传统人工神经网络硬件实现所面临的冯·诺依曼瓶颈问题。交叉阵列天然地实现了向量矩阵乘法,为神经网络提供巨大的计算并行性,显著提高数据吞吐量,从而实现高效的硬件加速。  通过利用输入图像的空间结构,卷积神经网络比其他神经网络结构(如全连接神经网络)更适合视觉任务。另外,非全连接和权重共享的网络结构使得卷积神经网络所需的突触数量要少得多,可以以更少的硬件开销实现
学位
ADC作为重要的接口模块,应用于雷达、光电接口、传感器探测、音视频等,连接着模拟域和数字域;随着物联网和便携式设备的发展,对高性能ADC的需求也越来越大。其中,高精度的离散时间Δ-ΣADC非常适合于音频应用。  本论文提出一种基于分时复用ASARADC(Asynchronous Successive Approximation Register Analog-to-Digital Converte