【摘 要】
:
随着脉冲神经网络训练学习算法的不断发展,其应用领域也不断扩张。同时,由于脉冲神经网络模型的规模不断扩大,训练学习算法的计算量愈发庞大,脉冲神经网络模型的训练愈发缓慢,进而导致脉冲神经网络模型研究与验证周期过长,相关应用研发时间跨度过大。针对上述问题,设计一种有效的并行训练方法是有效提升训练效率的关键。为此,本文提出了基于STDP的SNN子网络并行训练方法以及基于STDP的SNN多批次归约并行训练方
论文部分内容阅读
随着脉冲神经网络训练学习算法的不断发展,其应用领域也不断扩张。同时,由于脉冲神经网络模型的规模不断扩大,训练学习算法的计算量愈发庞大,脉冲神经网络模型的训练愈发缓慢,进而导致脉冲神经网络模型研究与验证周期过长,相关应用研发时间跨度过大。针对上述问题,设计一种有效的并行训练方法是有效提升训练效率的关键。为此,本文提出了基于STDP的SNN子网络并行训练方法以及基于STDP的SNN多批次归约并行训练方法,并在多核CPU处理器环境下对基于STDP的手写数字识别SNN模型实现了并行训练加速,主要工作如下。(1)结合模型并行与SNN训练,设计并提出一种基于STDP的SNN子网络并行训练方法。方法首先将完整SNN中独立神经元进行分割,形成多个独立子网络结构。随后,在实际训练中将多个独立子网络部署至CPU的多个独立Core上。在每轮训练内的每个时钟周期上使用同步通信完成多个SNN独立子网络间边界区域神经元脉冲数据传输,实现多线程模型并行训练。(2)结合数据并行与SNN训练,设计并提出一种基于STDP的SNN多批次归约并行训练方法。方法首先将数据集划分为多个批次,各批次的数据将输入至各个相同完整SNN。随后,多个相同完整SNN将被分别部署至CPU的多个独立Core上,在每轮训练后对多份各异的权值训练结果进行同步通信与权值归约。方法在每轮实际训练中仅需一次同步通信便可实现多线程数据并行训练。(3)在多核CPU处理器环境下针对上述两种并行训练方法进行实验论证。实验结果表明,相较串行训练方法,基于STDP的SNN子网络并行训练方法能够提速16.24倍;基于STDP的SNN多批次归约并行训练方法能够提速56.35倍。综上所述,本文提出的两种并行训练方法不仅能够有效实现基于STDP的脉冲神经网络学习训练,提高硬件资源使用率,而且在训练速度、训练效率上均有明显优势,具有一定的加速效果。其中,基于STDP的SNN子网络并行训练方法在每轮实际训练的每个周期内均需要通信,而基于STDP的SNN多批次归约并行训练方法在每轮实际训练中仅需一次通信,大幅降低了训练过程通信次数,有效提升训练效率。
其他文献
企业在开展财务会计工作的过程中,通过构建科学和完善的财务会计内控管理机制,对于促进财务会计工作科学和健康发展至关重要,目前一些企业在这方面存在不足,财务会计内控管理机制建设相对薄弱。本文对此进行了研究和探讨,在简要分析财务会计内控管理机制建设积极作用的基础上,重点分析了存在的问题,最后就如何构建财务会计内控管理机制提出对策。
2021年作为“十四五”规划的开局之年,也是电力企业供给侧改革和售电侧改革的重要一年。回顾整个“十三五”期间的电企发展,节约环保、高效可靠的现代电力工业体系正在形成,但电力煤炭价格近几年一直处于相对高位运行,且暂无下调趋势,煤电联动机制在近期取消。这些都对发电企业的成本产生了较大影响,在这样的大环境下,电力企业如何在逆境中优化自身的成本控制成为重中之重。本文在对A自备热电厂实地调研获取相关资料的基
2020年我国虽然已经实现了全面脱贫,农村教育发展取得了一定成效,但是增强农村学生健康体质仍然是农村教育工作的重点。和其他国家相比,我国对学生的营养改善政策实施的时间较晚,一直到2011年才正式以特困地区为试点开展农村义务教育学生营养改善计划(以下简称“营养改善计划”)。绩效评价是用于判断财政资金绩效的工具和方法,国家对营养改善计划的投入逐年增加,营养改善计划项目作为公共产品,开展绩效评价确有必要
党的十九大报告明确提出,坚决打好防范化解重大风险攻坚战,内部控制作为防范风险的重要手段,是国家治理现代化的坚实基础与有力支撑。近年来,在利率市场化带动下,我国商业银行不断推出各类金融产品以拓宽盈利来源,纸原油产品应运而生。纸原油产品与国际金融市场的原油期货合约挂钩,产品发展道路并不完善,风险隐患较多,极易受到市场波动影响。2018年,中国银行推出纸原油产品——“原油宝”。2020年4月21日凌晨,
随着人类对陆地表层,海洋资源,甚至地外星球的探索,在广阔的空间上识别不同的目标变得越来越重要。而由于自然界环境复杂多变的特性,无论是对陆地表层,还是对海洋资源的探测,都需要大量的仪器和人力资源。因此,越来越多的科学家们采用了高光谱遥感技术,利用具有高空间分辨率和高光谱分辨率的高光谱图像来分析和识别自然界中的不同的物体。而高光谱在成像时容易受到外部环境的影响,复杂多变的成像环境时常会导致高光谱图像质
随着信息技术的迅猛发展,数据量日益增长,数据的维数越来越高,规模越来越庞大,结构也越来越复杂。如何处理多源且多维的数据成为了数据挖掘领域的一个重大挑战。子空间聚类是对高维数据进行聚类分析的有效途径,其主要思想是将每一个数据类映射到对应的低维子空间以降低冗余信息对聚类结果的影响,从而获得更好的聚类性能。近年来,越来越多子空间聚类算法被提出,如何获取样本的局部和全局信息是子空间聚类的关键,目前仍面临较
在国家实行《“健康中国2030”规划纲要》的背景下,医院迁建工程作为民生工程重点项目,是全面推进健康中国建设的重中之重,是关系国计民生的事业。作为承担公益性医疗机构的公立医院,近年来为顺应趋势,不断加大医院内部软件和硬件设施的投资力度,医院迁建扩容进入到一个新阶段。当前,我国开始出现公立医院在医院迁建工程中通过项目融资租赁拓宽融资渠道,极大缓解了单靠财政资金投入的问题;同时医院通过融物的形式,也降
“积极发展混合所有制经济”这一理念自十八届三中全会提出以来得到了地方政府及国有企业的积极响应,混改形式以国有企业引入战略投资者方式最为常见,当中有部分企业引入战略投资者成为该企业的大股东并拥有企业实际控制权和决策权。自我国资本市场形成以来,大股东及其关联方对控股公司及其旗下子公司进行非经营性资金占用情况时有发生,占用方式具有复杂性和多样性,一些方式更因隐蔽性而难以发现,混改的初衷是改变国有企业现状
随着5G移动通信技术的普及,物联网设备在得到充分发展的同时,也对精准的室内位置服务提出了新的要求。为了保持室内定位模型的精度,位置服务提供商需要频繁地向设备用户索取位置数据进行定位模型更新。然而,位置数据与设备用户的行为习惯息息相关。如果设备用户的位置数据在传输的过程中被恶意窃取,这不但会造成设备用户的隐私泄露,也会让设备用户参与位置服务更新的意愿降低。随着边缘计算的发展,联邦学习有希望成为室内定
市值管理是指上市企业以市值为信号,根据市值变化采取相应的策略,使企业的自身价值能够在资本市场中得到真实的体现。市值管理概念最早诞生于2005年股权分置改革开始后,自此以后,市值管理成为社会关注的热点。市值管理第一次在制度层面被认可的标志,是2014年5月国务院发布《关于进一步促进资本市场健康发展的若干意见》。随着内资与外资不断流入资本市场,市值管理的理论实践均发展快速,同时也产生了多种多样的市值管