基于虚拟突触的时钟事件混合驱动的大规模神经网络仿真算法研究

来源 :东华大学 | 被引量 : 0次 | 上传用户:liongliong473
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
逼真地仿真大规模生物神经网络系统对于生物神经系统及类脑智能等领域的研究都有重要的意义。然而,由于生物神经网络具有大量异质神经元、复杂的突触动力学特性、错综复杂的网络连接拓扑等特性,给生物神经网络模型的逼真仿真计算带来了极大的挑战。本文针对生物神经网络仿真算法的两个重要问题进行研究:(1)如何提出新的突触电流计算模型,有效降低突触电流计算的资源消耗(突触的数量远大于神经元的数量,因此突触电流的计算主导了网络仿真计算的计算量);(2)如何有效增强生物神经网络海量状态之间的计算独立性,增强算法的并行性能。本文主要进行了以下四点创新工作。
  (1)提出“虚拟突触”概念模型,实现了与突触前神经元状态相关的突触状态变量(如电导系数)的计算从突触电流计算中的分离,基于虚拟突触提出了新的时钟驱动串行算法,避免了传统突触电流计算算法中与突触前神经元状态相关的突触状态变量(如电导系数)的重复计算。
  深入分析了突触动力学特性,结合与突触前神经元状态相关的突触状态(如电导系数)的计算特点以及传统突触电流计算模式,提出了“虚拟突触”概念模型以及二维循环数组的模型存储结构,实现了与突触前神经元状态相关的突触状态变量(如电导系数)的计算从突触电流计算中分离,避免了传统算法突触电流计算中与突触前神经元状态相关的突触状态变量(如电导系数)的重复计算,降低了网络中突触电流计算的资源消耗。基于提出的虚拟突触概念模型,分别针对基于电导型突触模型和离子通道动力学突触模型的生物神经网络提出了两个新的时钟驱动算法,仿真实验表明了基于虚拟突触的新的时钟驱动算法有效减少了仿真时间和存储空间等计算资源,性能明显优于传统时钟驱动算法。
  (2)提出了基于虚拟突触的时钟驱动大规模神经网络并行仿真算法。
  由于在基于虚拟突触的时钟驱动串行算法中,由突触前神经元状态决定的突触相关变量计算(如电导系数)从突触电流计算过程中分离出来,新的突触电流计算模式增强了单条突触电流计算所需各类数据之间的独立性,降低了各个神经元状态计算的耦合度,有利于设计大规模生物神经网络细粒度数据集时钟驱动并行仿真算法。因此,按照GPU并行架构体系,针对包含电导型突触和离子通道型突触的生物神经网络的计算特点,分别采用神经元级、神经元-突触级等并行化策略,提出了两个基于虚拟突触的时钟驱动大规模神经网络并行仿真算法。利用CUDA 技术,在 GPU 上实现了基于虚拟突触的时钟驱动大规模神经网络算法的并行仿真实验,实验表明,基于虚拟突触的时钟驱动并行算法具有高效并行性能。
  (3)基于虚拟突触设计了新的事件处理机制,提出了时钟事件混合驱动算法(虚拟突触-时钟事件混合驱动算法),即包含共同衰减(时钟驱动)和局部修正(事件驱动)两个过程的突触电流计算新算法。
  虚拟突触的提出,降低了传统突触电流计算模式中的单条突触电流的计算资源消耗,进一步,为了降低神经元(如神经元A)对所有突触电流进行逐条累加的计算资源消耗,考虑到在很短的时钟步内,网络中没有任何放电信号到达神经元A的概率非常高的现象,首先假设单位时钟步神经元A没有收到任何突触传来的放电信号,基于此假设,提出了神经元 A 的所有突触电流共同衰减的计算思想,避免了对神经元A的所有突触电流进行逐条累加的过程,减少了大规模神经网络时钟驱动算法中突触电流累加过程的计算量。接着,针对神经元A在单位时钟步接收到的放电事件,根据突触电流数值计算模型,对上述突触电流共同衰减计算模型进行修正,即推导出放电事件触发的突触电流的局部修正模型,并采用二维循环数组数据结构,设计了一种新的事件处理机制,实现了放电事件触发的神经元A的突触总电流的快速有效局部修正。算法性能的理论分析和实验结果都表明本文提出的基于虚拟突触的时钟事件混合驱动算法避免了传统算法中的突触电流的累加计算过程,优化了突触电流计算模式,有效降低突触电流计算的资源消耗,其计算复杂度远小于传统时钟驱动算法计算复杂度,其仿真速度和性能远优于传统时钟驱动算法仿真性能。
  (4)提出了基于虚拟突触-时钟事件混合驱动算法的面向具有功能柱结构的大规模神经网络的并行仿真算法。
  首先,面向大脑皮层的功能柱状网络结构,为网络中的突触设计了链表型数据结构,提出基于虚拟突触-时钟事件混合驱动算法的串行仿真算法;接着,为了并行化时钟事件混合驱动算法,针对新的事件处理机制特性,在放电事件触发的突触级电导并行化修正过程中,设计单条突触电导修正量的数组型中间变量,避免了电导并行化修正过程的原子操作。最后,结合CUDA的动态并行(Dynamic Parallelism)技术,设计了新的神经元-突触级并行化策略,提出了基于虚拟突触-时钟事件混合驱动算法的面向具有功能柱结构的大规模神经网络的并行仿真算法。实验结果表明,新的并行算法对功能柱结构的脑皮层神经网络系统具有快速仿真能力,以及具有效率高、实用性广的特点。
其他文献
如今,人类已经逐渐进入了一个信息爆炸的时代,协同过滤这种推荐算法在信息系统和信息的过滤中快速变的很流行。但是,传统的协同过滤算法主要是经过对系统输入的用户-项目评分矩阵中数据的分析与计算,将用户感兴趣的内容推送给用户,却忽略了用户的兴趣会随着时间的变化产生变动,影响了推荐系统的精确度。另外,现有的协同过滤推荐也忽略了用户的特征背景信息,导致了冷启动问题。因此,在对用户推荐项目时,应考虑各种信息特征
学位
随着计算机视觉技术的快速发展,智能监控辅助系统已经出现在各个领域。 到目前为止,视频移动目标的检测和跟踪在越来越多的智能安全系统中发挥了重要作用。但是当目标的外观在光照变化,尺度变化和背景杂斑下变形,导致视频目标的提取特征发生变化,传统的视频目标检测和跟踪技术无法实现对动态物体准确,实时的跟踪。  深度学习通过模拟类似人脑的层次结构建立从低级信号到高层语义的映射,以实现数据的分级特征表达,具有强大
学位
随着无线通信技术的高速发展,天线作为无线通信网络的出入口在网络中的地位越来越重要,它性能好坏直接影响整个系统的运行。现代无线通信任务和交互数据的传输量在急剧的增加,对天线设计提出了一系列新的要求,主要体现在天线具有简单的结构和宽的工作带宽。圆极化天线相对于线极化天线在抑制多径散射和雨雾干扰、提高信道容量和消除极化失配等方面具有明显的优势,能够应对日益复杂的电磁环境。具有圆极化辐射特性的宽带特征的天
学位
农业物联网技术在较大程度上促进了农业信息化建设。农业物联网建设中对低成本感知终端互联技术有迫切的需求。以往农业物联网终端互联中,多采用ZigBee、3G\4G、GPRS 等无线通信方案。布设在土壤中的物联网无线通信终端之间的信息交互易受衰减系数较大的土壤介质影响。而密集林木环境中的无线传输也会受到含水较多的树木主干、冠层等部分影响,恶化通信效果。近年来随着物联网技术的发展,低功耗广域网络技术在智慧
随着信息技术的快速发展,以计算机辅助诊断与治疗疾病的方式在临床医学领域的地位日益提升,得到了广泛地应用。图像中蕴含着丰富的信息。医学图像分割是指将图像中感兴趣区域提取出来,分割结果可为医生在疾病诊断和治疗方案规划等方面提供重要的参考依据。因此,对医学图像分割方法的研究具有重要的意义。本文研究的是脊柱CT图像的分割。脊柱是人体生命大厦不可或缺的重要组成部分,是人体的后壁,具有支持躯干,保护脊髓、内脏
无论是代表现代科技最新发展的人工智能,还是日常生活中通信设备的生产与研究都离不开电路。电路教学担负着培养具有扎实理论基础,兼备设计及硬件实现能力的人才的重任。电路实验可拓展教学内容,从全新视角丰富学生认知,弥补知识点间的“断裂”。传统实验的现场操作模式受时间、空间限制,单一验证性实验束缚学生创造力。随着我国远程实验教学规划的实施,远程实验教学平台的研究获得极大重视。论文借助于现代信息科技,融合先进
脑中风是一种发病快、致死率高的疾病,发病人数也在逐年升高。脑中风及时得到诊断有利于患者的治疗和恢复,会大大提高治愈率。另外,脑中风不仅会导致患者的身体功能障碍,还会导致认知功能障碍,而身体和认知功能障碍都与中风病灶位置相关。因此能准确的对脑中风进行早期诊断并且确定其中风病灶位置是极为重要的。  微波检测根据生物组织介电特性差异造成的微波散射信号的不同来检测诊断。它有着使用安全,无辐射伤害,成本低等
学位
阅读理解是问答系统的一个重要分支,近年来受到研究者的广泛关注。阅读理解任务是给定一篇文本,要求机器通过对文本的理解与分析,回答一些与文本内容相关的问题。本文是以国家863计划项目“语言问题求解和答案生成关键技术及系统(No.2015AA015407)”为依托,以北京地区高考语文科技文阅读理解为研究对象,对补写句子选择题解答策略进行了研究与系统实现。  本文主要工作如下:  (1)针对补写句子选择题
学位
Markov跳跃系统被广泛用于描述存在结构突变的机器人系统、航天器系统和网络通信系统等。而这些实际系统在工作时,又不可避免地会受到各种随机因素的干扰。在描述既存在随机因素影响又存在Markov跳跃的随机系统时,It(o)型Markov跳跃随机系统成为了一种自然、合理的选择。因此,It(o)型Markov跳跃随机系统相关的控制问题得到了广泛的关注。  在It(o)型Markov跳跃随机系统中,模态间
作为新一代宽禁带半导体器件,碳化硅(SiC)MOSFET由于其在中高压大功率应用领域的优良特性而受到了大量的关注。在充电桩逆变器等电力设备中使用SiCMOSFET能够显著提高功率密度和设备的效率,本文主要针对SiCMOSFET的驱动保护电路进行了研究。  首先,介绍了SiCMOSFET的器件结构和工作原理,通过其二极管箝位感性负载下的开关等效电路对SiCMOSFET的开通和关断过程进行了详细的分析
学位