针对Sandwich-Ram的神经网络芯片容错技术研究

来源 :国防科技大学 | 被引量 : 0次 | 上传用户:xiaohonghe
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
目前神经网络算法得到广泛的应用,随着智能设备对硬件的运算效率和能耗提出较高需求,研究者们提出了众多新型体系结构设计方案。其中Sandwich-Ram是一种新型高速低功耗的神经网络加速硬件架构,它采用了存内计算体系结构,脉冲宽度模拟计算和低精度网络模型等新型硬件加速技术。这些新技术极大地提高了神经网络算法的训练速度,降低了运算功耗,但这些技术存在的一些问题导致了芯片可靠性降低并带来分类精度受损的问题。本课题的研究目的是探索Sandwich-Ram硬件架构上因为新型加速技术导致分类精度下降现象的解决方法。本文的贡献主要有三点。首先对Sandwich-Ram芯片的误差模型进行分析和提取,确定了存内模拟计算(Analog Computing in Memory,ACIM)误差的数学模型和参数选择。然后根据误差感知重训练方法设计了存内模拟计算误差注入与修复平台(Analog Computing in Memory Simulator,ACIMS),该平台可以仿真神经网络芯片硬件误差,并将这种误差行为暴露给训练过程,使得网络模型中的权值能够适应性地调整,以达到误差矫正的效果。同时这个平台还可以用于测试各类神经网络容错训练方法的有效性。最后本文提出了两种改良的神经网络容错训练方法,分步注入重训练方法可以降低重训练阶段的时间开销;末端重训练方法可以降低片上重训练流程时的硬件资源开销。实验表明,对于本课题提取出的Sandwich-Ram芯片误差模型,ACIMS平台能够在仿真环境下训练得到具有容错能力的网络模型。矫正后的网络模型能够在MNIST、SVHN、CIFAR10数据集上分别达到97.00%、95.08%、89.56%的验证精度。该矫正精度在三种数据集上与基准精度相比分别仅下降0.78%、0.24%、2.14%。
其他文献
依托计算机技术、微电子技术和大数据科学的快速发展,机器人技术目前已经发展到了第三代,即智能机器人。近年来,机器人朝着智能化和多样化方向发展,各种各样的智能机器人相继出现,这些机器人已被广泛应用于工农业生产、宇宙探测、社会服务、自然灾害搜救和军事等领域。然而智能机器人在给人们的生活带来便利的同时,也存在着很多潜在的威胁。由于机器人系统缺乏安全管理标准和脆弱性评估,因此很容易受到潜在的网络攻击。此外,
学位
平流层浮空器具有滞空时间长、驻空高度高、搭载能力强、使用效费比高等优点,在天文研究、对地观测、侦察监视、导航制导、通信中继、应急救灾等方面拥有广泛的应用前景,是当前航天航空领域的研究热点。平流层浮空器在给定区域内驻留的能力是其功能价值得以完全发挥的重要先决条件,本论文围绕基于风场环境利用的新型平流层浮空器区域驻留策略这一关键问题,深入地开展了研究,主要研究工作包括:一、采用了改进的神经网络对平流层
学位
向日葵(Heliauthus annuus L.)是我国重要油料作物之一。向日葵生长发育、产量、品质均受到干旱及盐胁迫的影响。植物表皮蜡质覆盖在植物组织表面,可以降低植物水分散失速率,提高植物对缺水环境的适应性。本实验以油葵自交系为材料,利用气相色谱质谱联用(GC-MS)技术研究向日葵幼苗经干旱、盐胁迫、PEG6000处理后叶片表皮蜡质含量、组分的变化,并通过测定叶片失水速率和叶绿素浸出速率,鉴定
学位
核桃油、油茶籽油、橄榄油是三种营养价值丰富的木本植物油(简称三种木本油),不仅含有油酸、亚油酸、亚麻酸等不饱和脂肪酸,还含有植物甾醇、角鲨烯、多酚、等微量营养素,具有很高的营养价值,但其深加工不足。油脂凝胶化是一种油脂固化的方法,其可在不进行化学改性的前提下将液体油转化为固体状凝胶并具备一定的可塑性和机械强度,成为可替代传统固态脂肪应用的健康油脂类型。目前关于三种木本油的研究主要集中在其理化特性、
学位
高比容量硅(Si)、锗(Ge)等在电池负极材料领域逐渐成为热点。Ge的理论比容量达1600 m A·h·g-1,同时具有本征电导率高(>Si的100倍)、离子扩散速率快(>Si的400倍)等优势受到重视被广泛研究。然而,Ge在合金/去合金化的过程中会出现体积膨胀至300%左右的现象,且可能进一步引起颗粒的破碎与粉化,以至于集流体上剥离。这种差的微结构循环稳定性会造成容量损失和循环性能衰减。解决上述
学位
玉米自交系是培育优良玉米杂交种的关键,评价优良玉米自交系的核心在于配合力。为了评估不同玉米自交系配合力环境效应,明确陕A群、陕B群选育玉米自交系的育种潜力,本研究以陕A群、陕B群选育重点玉米自交系为材料,筛选了来源于陕A群的91227、KA052、KA060、KA064、KA074等12个重点玉米自交系,来源于陕B群的KB020、KB024、KB025、KB031、KB035等50个重点玉米自交系
学位
无人机城市作战将是未来重要的作战样式之一。城市建筑物以高层居多且形状复杂、分布密集,导致无人机飞行空间狭窄、通信受限,严重影响无人机在城市环境中执行任务时的飞行安全,如何充分利用公共资源中的海量城市数据重构任务环境、优化高楼林立的复杂不规则空间下任务路径规划算法,对于提高无人机的任务安全性和高效性,并降低地面站控制员的负担具有重要意义。为此,本论文重点针对城市环境下无人机任务控制方法中的环境重构和
学位
三元辩证法是法国著名城市社会学家列斐伏尔(Lefebvre)于1974年出版的《The production of space》(《空间的生产》)一书中提出的创新型理论,对现在的城市空间发展具有指导意义。于此,笔者查阅了大量资料并进行了实际调查研究,梳理了三元辩证法相关的理论综述与相关概念,对国内外优秀案例进行分析与参考,归纳总结了三元辩证法视域下历史文化街区景观提升设计的的原则与方法,并将其表达
学位
决策是人类社会特有的现象,是人类行为体系中最基本的属性之一。现实世界的决策往往依赖于人类认知信息,具有不确定性和部分可靠性的特点。为了对这类不确定信息进行建模与处理,模糊数学创始人L.A.Zadeh于2011年提出了Z-数的概念。目前,关于Z-数理论的研究尚处于起步阶段,仍然存在计算复杂、Z-数信息丢失、背离Z-数原义等不足。本文主要围绕Z-数的排序、Z-数的距离度量等关键问题进行研究,并将其用于
学位
复杂环境下机载传感器的量测数据具有较大的不确定性,其中信息非完备是重要体现,针对非完备信息容易导致航迹关联难度大、航迹融合效果差的问题,开展了非完备信息情况下的机载多传感器航迹融合算法研究工作。主要工作和贡献如下:1.面向交互式多模型的航迹质量度量策略。基于交互式多模型算法产生的模型匹配概率,本文提出局部航迹信息熵的概念,用来度量局部航迹的质量。在同一观测时刻,不同的传感器对同一目标进行观测,并通
学位