基于阻变存储器的神经形态计算系统的准确率恢复方法研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:pilot111
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
基于阻变存储器(Resistive Random Access Memory,RRAM)的交叉开关(Crossbar)阵列结构支持高能效存内计算(Processing-In-Memory,PIM),是实现神经形态计算系统最具潜力的架构之一。然而,RRAM器件其单元本身及RRAM单元构成的阵列具有一些非理想因素,这些非理想因素会影响计算的操作数进而使系统的计算准确率降低。选用单元稳定性更高的数字RRAM器件(每个单元存储1比特数据),并研究基于数字RRAM器件Crossbar阵列的神经形态系统的计算准确率恢复方案。
  基于数字RRAM器件的Crossbar阵列在计算过程中主要受高温导致的阻值漂移和互连线电阻导致的单元有效电压下降(IR drop)两方面的干扰。一方面,阻值漂移会影响阵列中存储的神经网络权重数据。为了减轻三维堆叠神经形态架构中Crossbar阵列面临的高温环境对计算准确率的影响,提出一种基于权重重要性的温度自适应重映射(WeightSignificancebasedRemapping,即WS-R)方案。WS-R方案根据不同数位的位权因子辅以有效数据分布,将权重矩阵按重要性进行划分,同时根据温度分布对Crossbar阵列进行冷、热区域的划分。随后通过重映射步骤,避免将对计算结果贡献较大的高重要性权重与热区域相匹配,以缓解高温对计算准确率的影响。测试结果表明,在4?8比特的权重精度下,相比基于SWV指标的重映射方案,WS-R方案使计算准确率提升了37.8%?56.5%。
  另一方面,互连线电阻导致的IRdrop会降低输入电压向量值的大小。为了补偿IRdrop的干扰,提出基于位置及数据模式对IRdrop进行补偿(LocationandDataPatternbasedIRdropCompensation,即LDP-IRC)的阻值调整和驱动电压微调方案。测试结果表明,在阵列级,LDP-IRC方案可使各列输出电流相对于补偿前的误差均在±10%以内;在计算系统级,在不同阵列大小下LDP-IRC方案可使计算准确率近似恢复到理想值。最后,讨论了组合使用WS-R方案和LDP-IRC方案的运行流程,并针对组合方案的局限性提出了解决方法。实验结果表明,在4?8比特的权重精度下,组合方案可以使系统的计算准确率恢复到理想情况的73.48%?80.02%。
其他文献
六足机器人在危险或灾难环境中运动时,腿部容易发生故障并且无法及时进行人工修复。如果故障机器人可以根据当前情况找到能够让其继续运动的步态,则认为机器人在当前故障情况下可以进行容错运动,这样会提高六足机器人在未知环境中的适用性。本文对六足机器人在运动过程中,支撑腿发生单腿失效时的稳定性进行分析,并根据当前情况利用余下正常腿生成新的步态。具体内容有以下四个部分:  1、当六足机器人处于三角步态运动时,对
数据备份是当今企业实行数据保护和存储管理的主要途径,然而数据备份系统中存在大量的冗余数据。重复数据删除技术现已广泛应用于数据备份系统来识别和消除冗余数据,从而加速系统中的备份流程并减少存储开销。为了保证数据流的空间局部性,重复数据删除将多个数据块组织到固定大小的容器中,作为系统中的存储单元。备份流中的小文件生成的小数据块产生大量元数据导致容器的数据区域无法被填满,这会降低存储空间效率并加剧恢复性能
深度神经网络的发展使得人脸识别技术取得显著进展,但是深度学习模型容易受到对抗样本的攻击。对抗样本是指故意添加细微的扰动所形成的输入样本,它会使模型判断错误。人脸识别模型同样易受对抗样本攻击,研究人脸识别模型在对抗攻击下的脆弱性有助于人们更好的了解对抗样本,从而获得鲁棒性高的模型。本文在黑盒场景下,研究人脸识别对抗攻击算法。  针对黑盒攻击成功率低的问题,提出了基于Dropout的梯度符号法。该算法
学位
微博是中国互联网最活跃的社交平台之一。对微博评论进行情感分类,对舆论控制、商业决策和反恐领域都具有重大意义。目前针对微博评论情感分类研究具有较多难点,存在文本口语化严重、同音错别字高频出现及新型网络语言层出不穷等问题,而因传统词向量缺乏对情感信息表征而导致的模型难以准确学习到文本情感信息的问题也亟待需要解决。  针对目前情感词典主要基于规范语言而忽略了网络语言等不规范语言的现象,统计整理出了常见网
学位
NAND闪存是一种被广泛应用于存储领域的非易失性存储介质。随着闪存单位尺寸的减小和每单元存储的数据位增多,闪存存储密度越来越高,这不可避免地带来了闪存可靠性和寿命的降低。为了保证闪存可靠性,提出采用前期主动预防和后期高效修正相结合的方法,从数据写入闪存前的错误预防和数据读出时的错误纠正两个方面入手研究降低闪存误码率。  编程干扰和保留错误被公认为是NAND闪存中最主要的两种错误类型,且与闪存状态密
学位
为了应对日益增长的图处理需求,大量基于整体同步并行计算(Bulk Synchronous Parallel, BSP)模型的图处理系统被提出。近年来,分布式外存模式图处理系统因兼具分布式内存模式与单机外存模式图处理系统的优点而受到了越来越多的关注。然而现有的分布式外存模式图处理系统更注重于提升处理规模,在处理性能方面虽然较单机外存模式有所提升,但依然远不如分布式内存模式图处理系统。  结合BSP计
作为知识图谱补全的重要技术手段,知识推理已经成为当下研究的热点。其中基于路径的知识表示学习模型由于同时考虑了关系路径和实体的语义信息,大大提高了知识推理的准确度。虽然该模型以知识表示学习为基础,通过引入复杂关系路径建模提高了知识推理准确度,但同时也增加了时间开销,难以适应规模日益庞大的知识图谱。  针对复杂关系路径建模存在的效率问题,提出了一种利用子关系路径特征进行建模的方法(Sub-relati
随着大数据和云计算技术的发展,越来越多的数据和服务都部署在数据中心中,这就使得数据中心存储系统的容量变大和异构性突出,导致存储系统的软硬件故障发生的概率变高,进而导致存储系统可靠性和可用性严重降低,增加运行维护成本。硬盘故障预测作为一种主动容错的技术,以其故障前瞻性提高存储系统的可靠性和可用性,越来越受到工业界和学术界的关注。但是,磁盘故障预测还是面临着许多问题,例如数据集的不平衡性、检出率和误报
NANDFlash具有高性能、低延迟、低功耗等优势,因此被广泛应用于数据密集型存储系统。日志结构文件系统(Log-structured File System,LFS)对Flash特性友好,其通过异地更新,将随机写转化为顺序写,具有更高的随机写性能和更低的一致性维护开销。然而,LFS在运行过程中仍然存在段清理开销过大、文件系统写放大严重等问题,导致LFS的性能和Flash设备的寿命大幅降低。  I
大数据时代,闪存凭借优越的性能逐渐取代磁盘成为主流的存储设备。在闪存存储系统中,闪存文件系统的日志结构写方式和闪存转换层的地址映射功能,使数据块和空闲块离散地分布在文件系统和闪存中,带来了严重的碎片化问题。碎片的管理分为碎片避免和碎片整理,现有的碎片避免方案主要面向磁盘文件系统,不适合闪存文件系统;而碎片整理引入了大量的写开销,严重缩短了闪存的寿命。  针对闪存文件系统的逻辑层碎片问题,提出了一种
学位