基于阈值开关忆阻器随机性的概率类脑计算研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:oogt715
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着数据量的爆炸式增长及神经网络深度的不断增加,传统芯片越来越难以满足深度学习系统对算力的需求。类脑计算通过设计高效的人工突触与人工神经元直接构建硬件神经网络,从而克服传统计算机冯·诺依曼架构中存储与计算分离的瓶颈问题。然而,目前类脑计算研究主要集中在传统的确定性计算领域,缺乏对于神经网络输出结果不确定性的量化评估。通过在神经元或突触中引入随机性,概率类脑计算能够依据贝叶斯定理准确量化神经网络预测结果的不确定性。忆阻器在阻变过程中体现出本征的随机性,并具有低功耗、高速度、高集成度、存算一体等优点,非常契合概率类脑计算对器件的需求。本文主要针对忆阻神经网络输出结果的不确定性量化问题,通过制备不同电学特性的阈值开关忆阻器(Threshold Switching Memristor,TSM),并利用TSM器件本征的随机性构建随机神经元与随机突触,实现概率神经网络及贝叶斯推断,系统开展概率类脑计算的研究。主要的研究成果如下:首先基于Ge Tex、Cu S/Ge Se、VOx三种功能层材料设计并制备了双向阈值开关、导电桥阈值开关、金属绝缘体转变三种不同类型的TSM器件,通过基本电学性能测试研究了三种器件的开关特性与可靠性。其次从概率脉冲神经网络(Spiking Neural Network,SNN)中神经元随机激发的特性出发,设计了基于TSM器件阈值电压随机性的随机神经元电路。所制备的三种TSM器件中Ti W/Cu S/Ge Se/Pt导电桥阈值开关忆阻器的阈值电压Vth分布的变化幅度达到0.34 V,标准差达到0.076 V,并且Vth的变化与循环次数不相关,最符合随机神经元的要求,因此选择了Ti W/Cu S/Ge Se/Pt器件来制备随机神经元。通过物理建模证明了器件电导调制的过程中由温度导致的热噪声是随机阈值开关行为的物理根源,并实际搭建了满足概率SNN中激发概率与膜电位关系的随机神经元电路。然后聚焦于利用随机神经元的动态激发特性来量化神经网络的不确定性,针对乳腺癌诊断任务,设计并仿真了基于Ti W/Cu S/Ge Se/Pt随机神经元的概率SNN,达到了97.0%的高诊断准确率,并得到了肿瘤数据的分类概率。使用预测熵量化了网络预测结果的不确定性,并通过对预测熵设定0.2的阈值,完全避免了恶性肿瘤被诊断为良性肿瘤的严重错误。接下来从使用Dropconnect的贝叶斯神经网络中突触随机有效/失效的特性出发,设计了基于TSM器件开启延时随机性的随机突触电路。通过在1T1R单元中晶体管的栅极串联TSM器件,使得忆阻神经网络具备突触随机有效/失效的功能。基于高开关速度与高可靠性的需求选择了W/Ge Tex/W器件制备随机突触,并在亚阈值脉冲操作条件下获得了充足的器件开启随机性。通过电路仿真验证了基于W/Ge Tex/W器件的1T1R单元的随机失效特性,并实际搭建了满足Dropconnect功能要求的随机突触单元。最后聚焦于利用突触的随机有效/失效特性来量化神经网络的不确定性,针对新冠肺炎诊断任务,设计并仿真了具有特征提取与贝叶斯分类两个部分的神经网络。设计了基于TSM器件的1T2R单元来准确映射随机突触的正负权重,代入Ti N/Li Al Ox/Pt非易失忆阻器与W/Ge Tex/W双向阈值开关忆阻器的实际参数,忆阻贝叶斯神经网络达到了95%以上的诊断准确率。使用预测熵量化了网络预测结果的不确定性,以预测熵0.3为阈值,将突触失效概率为0.46的网络的分类准确率提升到了99.02%,验证了忆阻贝叶斯神经网络不确定性量化能力的有效性。本文主要对TSM器件的内在随机性及其在类脑概率计算中的应用做出了探索性研究,遵循自顶而下的研究思路,从顶层应用出发,厘清具备概率计算能力的神经网络对于随机神经元、突触的功能要求,设计了相应的单元结构与硬件方案,实现了概率神经网络并解决了医疗诊断任务中的不确定性量化问题。
其他文献
无源背向散射通信技术颠覆传统通信对高功耗射频链路的依赖,利用环境中主动通信的电磁波信号实现自我供能和被动的数据传输,能够显著降低系统的能耗及硬件成本,是实现万物互联的关键技术之一。未来,越来越多的用户隐私和敏感信息,如金融财务、个人身份及医疗健康等数据,将在无源背向散射系统中传输,对系统安全性提出了更高的要求。然而,无线信道固有的开放性导致无线信号易受窃听攻击。此外,系统中硬件与能量资源受限的背向
学位
随着光储充系统中母线电压逐渐提高,三电平变换器得到了广泛的应用。在系统级联拓扑结构中,无源元件如滤波电感、母线电容、飞跨电容等极大地影响了变换器的性能。因此,针对光储充系统中无源元件的特性分析和优化调控策略,本文的主要研究内容如下:提出了光储充系统交流三电平变换器电流纹波的统一分析方法以及电感值精确设计流程。电流纹波是磁性元件设计的重要基准之一。针对光储充系统三电平变换器中电流纹波与调制比、相位、
学位
海上风电具备资源条件稳定、利用率高、距离负荷中心较近、占地少等优势,近年来已成为世界各国风电发展的重要方向。在容量较小且离岸距离较近时,海上风电通常采用交流并网方式。随着海上风电场容量及离岸距离逐渐增大,多端柔性直流系统作为解决集群化、远距离、多区域风电友好并网的有效方式,逐渐受到广泛关注。然而,由于柔直自身的特性,海陆两端交流系统之间解耦,在陆上交流系统发生频率扰动时,海上风电场无法直接感知其频
学位
“碳中和”目标下,风电等可再生能源发电占比不断提高,使得电力系统净负荷变化更加剧烈和不确定,这对电力系统的灵活调节能力提出了更高的要求。日前调度作为电力系统运行过程中的重要环节,对合理安排灵活性资源具有重要意义。现有日前调度方法主要基于离散时间优化,将功率变化建模为阶梯曲线形式,其假设各时段内功率保持不变,时段交替时功率呈阶跃式变化,故不能准确刻画功率变化,可能导致对灵活性资源的安排不够合理。连续
学位
职业教育集团化办学有利于实现区域内的跨界优质资源共享,有效提高技术技能人才培养质量,以及进一步推动产教融合、校企合作。在职教集团化办学的实践探索中仍存在诸多问题,如集团化办学的校企合作不够深入、集团化办学的人才培养缺乏保障、集团化办学的运行机制亟待完善。据此提出破解职业教育集团化办学困境的路径:明确职教集团法人属性,完善集团实体化运作政策;明晰多主体责权利,建立职教集团理事会制度;完善集团化办学激
期刊
蛋白质翻译后修饰(Post-translational modification,PTM)是细胞内生物学过程的最重要调控机制之一,修饰系统的异常与人类疾病高度相关。蛋白质磷酸化(Phosphorylation)和泛素化(Ubiquitination)是最常见的两种修饰类型,参与调控包括液-液相分离(Liquid-liquid phase separation,LLPS)在内的几乎所有的生物学过程,
学位
手是人体最重要的运动器官之一,同时也是人类许多社会习俗的基础,失去手会对患者的生活与心理产生巨大的影响,使患者的生活质量显著降低。由于目前的医学水平还无法让断手重生,因此只能依靠工程技术手段为手部截肢患者研制先进的仿生假手,尽可能帮助这些患者恢复手的外观与功能。但是人手的结构与功能异常复杂,设计制造可以完全替代人手的仿生假手依旧很困难。目前的智能仿生假手在触觉感知、结构设计与优化、以及人机交互方面
学位
脉冲强磁场核磁共振(Pulsed-high-Magnetic Field Nuclear Magnetic Resonance,PMF-NMR)测量手段兼具脉冲强磁场的物性操纵能力和核磁共振的原子级微观探测能力,不仅可以显著提高检测信噪比,还能够为发现高场诱导的奇异物态现象创造更多的可能性,但在实际应用中存在谱线质量不高、磁场与谱仪同步效率低下等问题,其根本原因是脉冲磁场的稳定度与稳态磁场还有较大
学位
随着电子技术的迅猛发展,军事和民用领域对微波功能材料提出了更高的电磁性能需求。超材料具备灵活的结构设计特性,促进了它在电磁波调控领域的发展。本论文进行电磁超材料设计,探讨其相位调控、极化转换和电磁散射特性;开展材料本征损耗与相位对消等机制复合作用的电磁特性调控,实现雷达波宽频、高效的低反射材料设计。主要研究内容及结论如下:基于几何相位调控,研究了超材料的极化转换和电磁散射特性。设计两种单元结构:优
学位
傅里叶叠层成像术(Fourier Ptychography,FP)作为一种先进的相位恢复技术,以相干光变角度照明为手段,将频谱搬移、相位恢复、频谱拼接以及孔径合成融为一体,利用携带冗余频谱信息的低分辨强度图像通过融合重建实现高分辨强度图像与相位信息的同步恢复,并由此突破光学系统衍射极限,在显微近场高分辨率高通量成像中获得了极大的成功。近年来,傅里叶叠层成像术在远场高分辨成像的探索已陆续出现,但依然
学位