基于异构环境的高性能深度学习系统

被引量 : 0次 | 上传用户:cai2001m
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
深度学习(Deep Learning)近年来在机器学习的各个领域都取得了突破性的发展。深度学习算法通过训练多层人工神经网络模型,能够出色地抽取复杂特征,从而在语音,计算机视觉,文本等多个方面取得了巨大的成功。由于人工神经网络模型层数的增加,深度学习需要训练大量的模型参数,也因此依赖于海量的训练数据作为支撑。模型规模和数据规模的急速膨胀使得深度学习算法同时兼具计算密集型和I/O密集型这两种计算特征。针对这些特性,目前主流的解决方案是使用GPU和大规模集群进行计算。然而,这些方案往往将平台相关的接口(API)直接暴露给用户,使得算法的开发、实现和优化变得非常困难并且难以维护。针对这些问题和需求,在本篇论文中,我们设计并实现了Minerva——一个面向深度学习算法的高性能的计算平台。Minerva通过提供基于矩阵运算的编程模型,从而使得用户能够方便,自然地表达深度学习算法。同时,通过保留算法设计者所熟悉的命令式和结构化编程的特点,我们的编程模型能更精简更紧致地编写几乎所有主流的深度学习算法。为了同时支持分布式计算和异构平台(GPU或者多核CPU)的加速,在运行过程中,Minerva会动态地将用户代码转换成数据流的中间表达。Minerva会根据运行平台的不同,自动将这数据流表示执行在多个进程或者异构硬件之上。当执行在分布式环境中时,Minerva会自动推断近似最优的数据和计算的分配,从而有效地利用数据局部性并且高效地隐藏网络传输的开销。得益于Minerva灵活且平台无关的设计理念,用户不需要修改一行代码就可以将所编写的算法运行在各种设备之上,比如笔记本/工作站,拥有GPU加速的高性能服务器,甚至于大规模集群。我们的实验结果也显示我们这样层次化的实际理念能够利用多种并行性,可扩展性,并且在性能上能够超越许多现有的面向深度学习算法的工具。
其他文献
随着生物科技的发展,人类基因组计划的完成,人们获得了大量的基因序列信息,对基因序列的相关性分析从而成为一个前沿性的课题.高斯图模型(G GM: GuassGraphical Model)在基因
基于反思性的空间、身份和媒介自觉,迈德斯的电影事实上将青年亚文化置于工人阶级社区文化的瓦解和重构中加以呈现,不仅是具有认同和问题化双重性质的历史叙述,同时也投射着
大型桥梁健康监测系统的主要任务是对结构进行在线监测,确定损伤是否存在,以及损伤发生的位置,并评估结构的运营状态。桥梁结构损伤识别与监测门槛值分级涉及桥梁检定规范、
数学来源于生活,只有具有生活魅力的数学才能受到学生的欢迎.数学能够培养学生的逻辑思维能力,锻炼学生思维的缜密性,所以学好数学是初中学生必须要完成的课程要求.作为教师
目的:本研究旨在运用静息态功能磁共振成像(fMRI)技术探讨健康成年人智力的脑机制。方法:选用208名18~36岁健康成年人为研究对象,采用韦氏成人智力量表中国修订版(WAIS-RC)测
中国国旅(601888)重视电子商务发展,免税和旅行社业务齐头并进。公司领导表示电子商务将是公司未来发展战略的重要组成部分,其中,免税业务板块20亿元的投资计划中,信息化系统的建设
在全球化时代,如何更快地提高企业创新能力是当务之急。我们认为,政府应当采取有效的政策和措施支持产学研合作。通过产学研合作,企业的创新能力可借助高校研究院所的力量得到快
<正>一方水土养一方人,一方人又造就一方文化。湖湘文化作为独特的地域文化,在中国文化史上占有重要地位,在湖湘文化的熏陶下,涌现出了一代又一代有思想、有个性、有抱负、有
会议
葫芦在中华文化中有着极其深厚的文化积淀,因其浑圆的外形和多籽多产的特性被人们视为吉祥的象征,而葫芦的装饰工艺就是在葫芦文化基础上衍生出的民间艺术。本文研究的是位于黄
党的十八大以来,习近平同志高度重视民族问题,其关于民族问题的一系列富有创见的重要讲话和论述,包含着一些新思想、新认识,丰富和发展了中国特色社会主义民族理论,是我们进