BP神经网络MapReduce训练优化策略研究

来源 :西北师范大学 | 被引量 : 0次 | 上传用户:wangliyong6666
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
BP神经网络是人工神经网络中的一种,现已被广泛应用于分类和逼近问题中,在面对数据密集型训练时,存在大量的时间开销。为此,有必要并行化BP神经网络的训练,以提高其训练效率。MapReduce是一种基于数据并行的计算模型,可用于BP神经网络训练的并行化。由于在MapReduce训练过程中,Map任务训练结果只能对于接收到的输入分片达到局部收敛,且在Reduce任务中,传统的加权平均方法也无法保证训练能够朝着全局收敛的方向进行。因此,解决上述问题是提高BP神经网络MapReduce训练效率的关键。针对上述问题,提出两种不同的策略。第一种策略首先基于对训练样本集的系统抽样来产生扰乱的新输入分片,这些输入分片将使用原权阵进行迭代训练,来加快Map任务产生全局收敛结果的速度;为提高Map训练任务的局部收敛速度,在每轮次的训练完成后,选取所有Map任务产生的权阵中全局误差最小者,作为下轮次各Map训练任务的初始权阵。第二种策略将各Map任务产生的局部收敛权阵作为初始种群,在Reduce任务中应用遗传算法对初始种群进行进化,从而保证Reduce任务中的训练可以朝着全局收敛的方向进行,同时选取适应度最高的权阵作为下一轮次MapReduce迭代时Map任务的初始权阵,来加快Map任务达到局部收敛的速度。仿真实验表明,本文提出的两种策略均可以实现单次训练时间以及训练所需总的迭代次数的减少,同时随着集群的增长,两种策略均具有良好的可扩展性。
其他文献
在传统的异构蜂窝选择方案中,存在上下行链路覆盖不平衡以及宏蜂窝终端的上行传输信号对小蜂窝基站的干扰等问题。蜂窝范围扩展技术与几乎空子帧技术等被认为是解决相关问题
随着计算机科技的发展,许多实际应用领域涉及到大量空间目标对象,空间关系反映空间目标的几何位置及属性之间的关系,它是人工智能、空间数据库、地理信息系统(GIS)、机器人学
随着网页检索技术、社交网络、生物信息科学的快速发展和人脑计划实施,图论知识和算法得到了广泛应用和发展。图领域数据规模正以前所未有的速度急剧增加,云计算技术的飞速发
随着移动互联网、物联网、云计算以及云存储等高新技术的发展,数据的存储量呈现指数形式增长,信息社会步入了大数据时代。这些来源广泛、种类繁多、存储量巨大的多媒体数据蕴
IPTV是基于宽带IP网络,以机顶盒或其它具有视频编解码能力的数字化设备作为终端,通过聚合SP的各种流媒体服务内容和增值应用,为用户提供多种互动多媒体服务的宽带应用业务。
世界各国对海权维护的日益重视大大促进了海用雷达的快速发展。使用海用雷达对海上和海面目标进行检测是雷达信号处理领域的一个重要课题而海杂波是影响海洋背景下雷达目标检
毕设作品《瓷色秘语》是一部以儿童为用户,从釉色的角度介绍中国传统瓷器的文化教育类移动应用。本论文阐述了《瓷色秘语》移动应用课题创作的全过程,第一部分选题的原因及意
随着大数据时代的到来,移动群智感知已经成为一个完成大规模感知任务的有效模式,是当前无线通信和传感技术领域一个研究热点。移动群智感知需要以大量用户参与为前提,利用群
在无线通信中,由于信道质量较差,需要依靠信道编码技术来提高系统传输的可靠性。格码是一种欧式空间上的线性码,具有可达加性高斯白噪声信道容量的特性。低密度格码(Low-Dens
随着计算机视觉技术的飞快发展,视频大数据以惊人的速度增长着。目前“智慧城市、智慧工地”项目的建设越来越成为常见,“智慧”项目建设中,监控视频的研究己经成为监控安全