【摘 要】
:
作为人工智能的核心算法之一,神经网络对训练速度、准确度、架构复用性的要求越来越高。目前训练一个中型规模的多层神经网络需要亿量级计算量。传统架构并行度低、复用性差、扩展能力弱等局限性已经不能满足神经网络在并行计算中的需求。因此,本文对基于流式分布式架构的神经网络进行研究,以满足训练速度提升、架构复用和计算能力扩展的需求。本文首先提出了一种基于Storm流式分布式架构的神经网络训练模型NN-S(Neu
论文部分内容阅读
作为人工智能的核心算法之一,神经网络对训练速度、准确度、架构复用性的要求越来越高。目前训练一个中型规模的多层神经网络需要亿量级计算量。传统架构并行度低、复用性差、扩展能力弱等局限性已经不能满足神经网络在并行计算中的需求。因此,本文对基于流式分布式架构的神经网络进行研究,以满足训练速度提升、架构复用和计算能力扩展的需求。本文首先提出了一种基于Storm流式分布式架构的神经网络训练模型NN-S(Neural Network-Storm),通过数据并行方法将神经网络训练任务分解到多个计算单元并行执行,在单批数据训练完成后同步更新参数。在Storm架构下,使用Zookeeper组网进行多服务器分布式部署,使用NSMap方法将神经网络算法转换成计算机可识别拓扑,并测试了LeNet-5与AlexNet网络训练。训练结果表明,NN-S模型可以显著提升神经网络训练速度。同时,NN-S架构能够在节点失效与网络资源调度异常时快速恢复,具有强鲁棒性。在NN-S模型基础上,本文对神经网络传统BP算法进行了优化,结合在线更新BP算法与累积BP算法的优点,提出了更适合Storm流式架构的MixBP算法,将所有训练数据分解到多个计算单元同步训练,并周期性更新神经网络参数。LeNet-5网络的测试结果表明,NN-S模型下基于MixBP的神经网络训练方法比在线更新BP算法与累积更新BP算法具有更好的加速效果。针对Storm架构资源消耗问题,本文分析了影响并行度和计算速度的主要因素,对比了线程资源分配对网络训练速度的影响,并以LeNet-5为例测试了基于计算节点的负载线程再分配可以显著提升神经网络训练速度。本文对基于流式分布式的神经网络训练进行研究,设计了基于Storm的分布式神经网络训练模型及优化的训练算法,对分布式神经网络训练具有参考意义。
其他文献
微生物是大气颗粒物的重要组分,不仅在大气化学、成核过程、生态系统相互作用和全球气候变化中发挥着重要作用,同时也作为病原体和过敏原严重危害人类健康,引起呼吸道传染病、过敏和肺癌等多种疾病,逐渐成为研究热点。目前,对大气微生物的研究多关注于雾霾天气下PM2.5和PM10中的细菌群落,对真菌群落和超细颗粒物(PM1.0)中的微生物群落研究较少。鉴于此,本文以合肥市作为研究区域,采用三台大气颗粒物采样器对
树自动机是计算理论中一类重要的数学模型,不仅对计算科学研究有必不可少的作用,而且广泛应用于其它各个领域.但经典树自动机识别的树语言在描述模糊不确定性方面存在不足.模
情感识别作为人机交互的重要一环,得到了研究者们越来越多的关注。研究情感识别系统,使计算机能够自动识别人们的情绪,这在人机交互、刑侦司法、智能车载系统等领域都具有重要意义。人们一般会通过人脸表情、语音和身体姿态的变化来表达情绪,因此深入如何融合诸多模态的情感识别算法对情感识别课题的研究具有极大的推动作用。本文主要研究了基于深度学习的人脸表情识别算法,基于机器学习和深度学习的语音情感识别算法和基于人脸
王筠是清代“說文四大家”之一,他研治《說文》三十年,不泥古人,獨闢蹊徑,成就突出。王筠在《說文》方面著述繁多,以《說文釋例》最為著名,是其研治《說文》的精華之作。《說
随着功能需求的不断增加,安全关键系统的设计变得越来越复杂。如何通过建模与验证的方法保证安全关键系统的质量,一直以来都是形式化方法领域备受关注的问题。AADL作为一种应用广泛的建模语言,在安全关键系统的设计与实现中发挥着重要的作用。它提供了丰富的组件用来描述系统的体系结构,并且能够支持性能关键属性的早期预测和重复性分析。然而,AADL描述系统行为的方式主要是基于自动机理论,在建模和验证大型复杂系统时
在当前已经进入互联网时代的大背景下,随之出现了一种新的财产形式,即网络虚拟财产。近年来,关于网络虚拟财产的案件屡屡发生,特别是关于网络虚拟财产窃取类的犯罪案件在此类
面对飞速的经济增长与社会发展,5G移动通信系统提出了更高的性能要求,如更高的数据传输速率、更密集的无线连接等。传统的正交多址接入技术,如时分多址、频分多址、码分多址技术等,给不同用户分配不同的时频资源以避免相互干扰,新型非正交多址接入(NOMA,Non-Orthogonal Multiple Access)技术允许多个用户在相同的时频资源上进行通信。随着无线连接密度的急剧增长和频谱资源的有限性,N
给定某并发程序执行轨迹,基于约束求解的并发测试方法将并发错误模式和执行轨迹的可行性要求转化为一组约束条件,通过约束求解生成暴露并发错误的并发执行交织。该方法具有无误报、低漏报率等诸多优势。并发程序在开发过程中会经历多次修改,产生多个程序版本。在并发程序的演化过程中,直接对各个版本的基于约束求解的并发程序测试,由于未有效利用版本变化信息,而造成重复测试,致使并发程序回归测试面临效率较低等问题。为了提
徐青甫是民国时期江浙士绅代表之一,他多次担任浙江省政府要职,也曾代理主持浙政。他的经济学著作丰富,其经济学思想主要体现在《经济革命救国论》、《物价问题之研究》和《
随着通信技术和半导体技术的发展,信息的传递越来越便捷,现代通信使人与人之间的联系十分紧密,万物互联互通成为了“物联网”的发展目标。窄带物联网是一种发展迅速的物联网协议,可以在LTE网络上升级和部署,对射频收发机和频率合成器提出了更高的要求。在先进工艺条件下,宽带全数字锁相环更适合于物联网应用场景。数控振荡器作为全数字锁相环频率合成器的核心模块,对整个系统的性能具有重要影响。因此宽带高精度数控振荡器