面向低功耗低成本神经网络处理器的近似计算技术研究

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:dajiange
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
如何减少面向物联网设备(如可穿戴健康监测设备、微型智能感知设备等)的神经网络处理器的功耗与成本,是实现人工智能物联网(AIoT)技术的关键问题。采用二值神经网络、新型存储器(如忆阻器RRAM、近阈值SRAM)等近似计算技术,可以大幅降低神经网络处理器的功耗与成本。然而,RRAM或近阈值SRAM存在较大电路参数偏差,导致神经网络的准确度下降较大。如何解决以上近似计算技术的问题,在降低神经网络处理器功耗与成本的同时,保证较高的准确度,是本工作的主要研究目标。针对以上问题,本文开展了如下研究工作:(1)通过模拟RRAM/近阈值SRAM的电路参数偏差,对二值神经网络的权值矩阵及准确度进行了大量实验,发现经过二值量化后的神经网络具有一定的容错能力,并且不同权值矩阵对神经网络准确度的影响不同。(2)通过分析新型存储器技术(包括RRAM和近阈值SRAM)与传统SRAM存储技术的优缺点,利用二值神经网络具有一定容错能力的特性,提出一种混合权值存储机制,将非关键权值矩阵映射到RRAM/近阈值SRAM,关键权值矩阵映射到传统SRAM,大幅降低了硬件功耗与成本,同时保证了足够的准确度。(3)针对如何搜索二值神经网络中的非关键权值矩阵,提出了两种搜索算法,一种是基于独立分析的权值搜索算法,对神经网络中的所有权值矩阵进行逐一搜索,从而找到非关键权值矩阵,并实现混合权值存储机制。但这种方法未考虑权值矩阵之间的相关性,可能导致得到一个较差的结果。针对该问题,提出了第二种搜索算法,即基于耦合分析的权值搜索算法,结合二进制粒子群优化算法对非关键权值矩阵进行组合搜索,并在此基础上改进算法的初始化方法,加快搜索速度,该方法可以提高搜索准确度,进一步降低硬件功耗与成本。以上工作已通过三个典型应用的神经网络进行了实验验证,通过基于耦合分析的权值搜索算法,在神经网络准确度损失值为1%、错误概率为5%的条件下,从三个神经网络中分别提取出超过47%、86%左右和超过95%的非关键权值参数,在混合权值存储机制下实现了超过35%、69%和77%的功耗节省,以及超过40%、78%和87%的硬件成本节省。
其他文献
雪落樱(Cerasus xueluoensis)为珍贵的本土樱属资源,花色优美。不同于矮生樱亚属(Subg.Microcerasus)的三芽叠生以及樱亚属(Subg.Cerasus)的芽单生,雪落樱具有“三芽”与单芽共生的亚属间过度性状。开展雪落樱花芽分化的相关研究,对理解植物花芽分化具有重要的意义。但目前雪落樱花芽分化过程与分化时间尚不清楚,导致雪落樱“三芽”以及单芽共生这一过度性状产生的分子基
串级换热技术实现了系统梯级供热,可以在保证室内热舒适度的前提下尽可能地降低一次网的回水温度。从热源的取热环节,到热量的输送环节,再到末端不同热用户的使用环节,集中供
<正> 明代中叶有没有出现资本主义性质的雇佣劳动?这是关系到明代中叶是否是资本主义萌芽时期的大问题.笔者对明史素无研究,掌握的史料不多,不敢肯定明代中叶绝对没有出现资
阐述了沿海地区桥梁混凝土结构混凝土结构耐久性问题及提高耐久性设计原则,从设计基本要求、混凝土保护层、防止和控制裂缝、加强桥面防水设计等方面对提高沿海地区桥梁结构耐
环境保护税法在我国也经历了从无到有的过程,2016年12月25日,第十二届全国人民代表大会常务委员会第二十五次会议审议通过了《中华人民共和国环境保护税法》,并于2018年1月1日正式施行,我国有了第一部环境保护税法律。这是个从无到有的过程,无疑是我国环境保护税法律制度建立的重大实践。讨论我国环境保护税法律制度的同时,要说明的是,在我国的环境保护税法制定之前,我国早在20世纪80年代初就正式确立了排
目的 :观察复发性口腔溃疡采用中西医结合治疗的临床疗效。方法 :将收治的采用中西医结合治疗的200例复发性口腔溃疡患者作为观察组,另选取同期仅给予常规西药治疗的150例复
概述了CC-Link现场总线技术如何在自动排水系统中的应用,叙述煤矿排水的重要性和CC—Link总线技术的定义及其发展历程,介绍CC—Link的网络通信原理、网络系统配置和网络结构;研
党的十九大报告提出实施乡村振兴战略,要求巩固和完善农村基本经营制度,深化农村土地制度改革。农村集体“三资”管理的完善,是集体经济发展的重要途径,是乡村振兴战略践行的重要举措,同时也是当前农村迫切需要的综合性改革工作。对于有着广阔农村地区的惠州来说,乡村振兴是一项历史性任务。惠州市采取系列应对方案,有效提高农村集体“三资”管理能力。建立农村集体“三资”监管工作体系,健全制度加强监督,建立市、镇街、村
目的:通过探讨针刺双侧足三里、合谷穴对于急性胰腺炎胃肠功能障碍的作用机制,为急性胰腺炎患者胃肠功能恢复提供简单又有效的中医治疗方案。方法:将2018年10月至2020年1月期间,在新疆维吾尔自治区中医医院普外三科住院并确诊的急性胰腺炎患者52例,随机分为2组,试验组26例,对照组26例。两组均给予基础治疗(包括禁食水、抑酸护胃、抑制胰腺分泌、预防感染、大柴胡汤中药灌肠等),试验组在基础治疗的同时,