基于分布式环境的卷积神经网络并行算法优化研究

来源 :西安理工大学 | 被引量 : 0次 | 上传用户:horse12
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着深度学习网络规模的增大,导致网络训练参数数量快速增长及网络训练时间随之增加,卷积神经网络作为深度学习的一部分,虽然利用权值共享降低了部分参数的数量,但是参数数量依然庞大,网络训练耗时过长问题依然存在。针对这个问题,本文实现了分布式环境下的卷积神经网络,并提出基于二叉树的异步参数更新算法(B-APU)和基于时间因素的FIFO调度策略(FIFO-T)对分布式卷积神经网络进行优化。主要工作如下:(1)实现多机环境下基于Spark网络集群的分布式卷积神经网络。通过与Spark平台的结合探索在多机环境下卷积神经网络的并行方案。利用Spark平台搭建分布式环境,并在其基础上实现分布式卷积神经网络。(2)针对分布式卷积神经网络在训练中同步数据并行方式存在集群节点等待的问题,设计了B-APU(Asynchronous Parameters Update Based Binary-tree)算法。B-APU算法将二叉树与同步和异步并行方式相结合,首先把网络节点按照计算机的处理速度构造出这样的二叉树:同一个子树的左右节点的值相差较小并且在二叉树中左子树节点是处理速度最快的节点,二叉树的上层是计算速度相对较差的节点,下层是速度较快的节点。其次,对于参数更新,同一层的节点采用参数平均法进行参数计算,保证准确率;不同层之间的使用异步随机梯度下降算法进行参数传递,提高训练速度;每一层参数的传递按照二叉树的深度遍历进行,确保速度快的节点优先进行参数传递,实现计算速度较快的节点的通信与较慢节点的计算并行,从而减少网络训练中网络通信时间。(3)Spark平台下,对于分布式卷积神经网络缺省的FIFO调度策略单纯考虑作业提交顺序带来的节点等待问题,设计了 FIFO-T(First In First Out Based Time)的作业调度策略。针对作业执行时间的差异而引起节点互相等待的问题,FIFO-T作业调度策略将作业执行时间作为作业调度判断优先级的因素之一,从而缩短由于作业执行时间的不一致而导致集群节点之间互相等待的时间。实验结果表明将B-APU算法和FIFO-T调度策略应用在分布式卷积神经网络的训练中取得了良好的效果。
其他文献
近年来世界各地发生的客车着火事故,给社会和乘客都带来了巨大的损失,乘客的生命财产安全存在威胁。目前汽车上的逃生装置多为安全锤砸破车窗玻璃从而逃生。为了解决安全锤的操作弊端,我们设计了一种新型汽车逃生装置,当发生火灾或者恐怖袭击时,系统将汽车车窗玻璃爆裂,使乘客尽快逃生,并且不伤及乘客。本次课题所研究的公共汽车车窗玻璃爆裂控制及监控系统是一个涉及GPRS网络技术、GPS/北斗卫星定位和LORA射频通
柔印属于轻压力印刷,其压力的轻微变化会对印品质量产生重要影响。通常柔印压力的确定主要靠预印、检验印品质量来确定。这种压力确定方式需要消耗一定的人力、物力,且易受人为主观因素的影响。目前BOBST已经研发出一套柔印压力自动预测系统,根据版面信息,能够在贴版环节直接实现开机印刷压力的准确设置。基于此,为了实现柔印压力的预测,本文以陕北人FCI300柔印机为研究对象,研究了版面图文特征对印刷压力的影响;
随着科技的发展,未来的战场环境将越来越复杂多变,单个无人机已无法满足未来战场的需求,多无人机协同恰恰能弥补单机的不足,通过多个无人机之间的相互配合,可以完成更多复杂且艰巨的任务。任务分配和路径规划是无人机协同的两个重要部分组成。任务分配就是用最小的资源代价尽可能多的完成任务的指派,是解决多无人机多任务问题的难点之一;航路规划是在完成任务分配的基础上,找寻从基地出发到各个任务点完成任务并返回基地的最
目前机器人技术的发展日新月异,其智能化程度已经成为国家科技水平和综合国力的评价标准之一。其中,移动机器人能够代替人类在各种环境下从事复杂的重复性作业,在国防、星球探索、家庭服务等领域应用非常广泛。移动机器人要在未知环境下完成任务,就必须无碰撞的到达目标位置,因此路径规划是移动机器人最重要的一项基本能力。为了使移动机器人在未知环境下直接基于视觉信息自主学习最优动作,本文提出了一种端到端的路径规划算法
在印刷的过程中,印刷前会对数字连续调图像进行半色调处理,变换后的半色调图像具有与原图像相同的视觉效果,并且解决传统印刷无法实现连续调图像打印的难题,但却引入了半色调噪声,造成原图像一定程度的信息缺失。如果得到的是一张半色调图像,并想对其进行压缩、缩放、增强、识别等数字图像处理操作,则必须先对该图像进行逆半色调处理,恢复原图像缺失的部分信息。目前,数字图像逆半色调方法有很多,查找表法(LUT)逆半色
随着人们生活水平的提高,食品医药产品的质量越来越受到重视。产品包装的质量是食品医药产品质量可靠性的保障。产品包装密封性检测在包装设备上的应用极具前景。因此有价值探索高灵敏度、高可靠性的气体密封性检测方法。基于压电聚合物聚偏氟乙烯(PVDF)材料的气体传感器具有便于大批量制造、柔韧性好、性质稳定等优点,被认为是理想的气体传感器之一。但如何将该传感器用于包装泄露产生的微弱变化的检测成为其应用的难点。本
人体姿态估计广泛应用于人体动作识别,人体动作的检测和跟踪,体育运动分析,人机交互等方面。由于人体复杂的结构和人体部位的灵活性,姿态估计是计算机视觉领域的困难问题。姿态估计目的是检测人体的不同部位,估计关节的关键点的坐标。然而,传统算法类似基于HOG特征的人体关键点检测算法,往往检测准确率较低。本文主要研究了基于深度学习的人体关键点检测算法,采用ResNet101层网络实现了对静态帧图像人体关键点的
水下机器人尤其是自主水下机器人(Autonomous Underwater Vehicle,简称AUV)大量应用于遥控侦察、海洋测绘、水下打捞、管路巡查等领域,其需求量大、应用广泛,是目前各国竞相发展的重要技术装备。AUV螺旋桨是为其提供动力的关键零件。AUV螺旋桨具有几何形状复杂、加工精度和表面质量要求高、多品种少数量等特点,目前AUV螺旋桨多依赖于数控五轴联动加工,其设备成本和加工制造成本都很
当前,数控机床作为国家制造业的龙头,越来越受到国内各行各业的重视。其高智能、高自动化的加工方式,正在以飞快的速度改变着传统的低效机械加工方式。然而,现有的数控机床产品多属于车、铣、镗、磨等通用加工类型和数控加工中心,对于大型、高速的专用数控钻床,还难以满足市场的需求。所以基于此,迫切的需要一种新方式的孔加工设备来取代旧的传统的钻孔设备。本课题所研究的大型龙门移动式数控平面钻床正是一种采用全新孔加工
随着智能手机处理能力的不断提升,微型低功耗传感器的不断发展,基于传感器的行为识别已经成为一个热点研究领域。本文以使用手机的人群作为主要研究对象,研究手机使用过程中的不良行为识别方法,让智能手机在带给使用者智能化体验的同时,也使得手机使用的不良行为引起人们的重视。本文主要研究内容包括:第一,基于手机位置的不良行为识别方法。本文针对现实生活中静坐、行走、上楼梯、下楼梯、乘坐公交等场景的手机使用行为,并