面向众核处理器的计算图自动划分原型的研究与实现

来源 :北京邮电大学 | 被引量 : 0次 | 上传用户:lazysands
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,深度学习已经在图像分析、自然语言处理、语音识别、视频分类等领域取得了令人瞩目的成功。但是,深度学习依赖于强大的计算能力,优化深度学习的系统框架以降低算力需求对于深度学习的应用有重要的作用。众核处理器体系结构在深度学习领域有广泛应用,如何在众核处理器上实现计算任务的负载平衡是一个有价值的问题。本文主要研究在众核处理器架构上训练深度学习模型时,如何有效划分模型对应的计算图并实现负载均衡。本文设计了面向众核处理器的计算图自动划分算法。本文首先分析了图划分问题,明确了图划分算法的最终目标是缩短深度学习模型的运行时间,并且需要考虑负载均衡、通信代价和存储上限这三个因素,由此得出子图的运算量、存储量和路由量可以影响划分效果。其次,对图划分问题进行马尔可夫决策过程的建模,提取当前计算图的子图划分情况与核资源分配情况作为强化学习中的状态,调整相邻两个核之间的层数分配作为强化学习中的动作,计算图在众核处理器上的运行时间和存储情况作为强化学习中的奖励。再次,根据基于策略的强化学习算法设计并实现了图划分算法,对马尔可夫决策过程模型进行求解。最后将使用图划分算法自动划分的结果与人类专家的手动划分结果进行对比。本文中的算法能够将计算图自动划分为子图,并为每一个子图分配核资源,优化深度学习模型在众核处理器运行的时间。本文实现了计算图自动划分的原型系统。首先对原型系统进行需求分析,总结出上传待划分模型、构造计算图、划分计算图、保存即时结果、查看划分结果五个功能性需求。其次,对原型系统进行设计与实现。在系统实现部分重点使用了 Relay中间表示。Relay中间表示是一种普遍应用的深度学习编译器的中间表示,可以转化为计算图形式,系统中实现构建深度学习计算图的部分扩展了 Relay中间表示对深度学习框架Caffe的支持,可以将Caffe的模型转化成计算图。系统也实现了读入计算图信息直接生成计算图的功能。利用计算图自动划分算法进行划分子图之后,可以将划分结果展示给用户。文章最后通过系统的测试与分析,证明该系统能够对深度学习计算图进行自动划分并展示结果。
其他文献
学位
在水泥中掺入不同的矿物掺合料,研究水泥强度和水泥水化热的变化情况。结果表明:加入矿渣后,水泥胶砂的早期强度降低,但28d强度略有不同,当矿渣少于水泥用量时会增加,超过水泥用量(达到55%)时会下降。随着粉煤灰的掺入,水泥强度(3d、28d)出现了不同程度的降低。水泥的水化热与龄期呈正相关,并且无论单掺矿渣还是粉煤灰,水泥水化热都会降低。当水泥用量一定时,水泥水化热由高到低依次为同时掺入矿渣和粉煤灰
期刊
学位
伴侣暴力是一项世界性的人权问题和公共卫生问题,既危害受害方的身心健康和生命安全,又给社会带来用于受害者救助、公安及司法支出等一系列经济负担。伴侣暴力中,男方对女方的暴力造成的身体伤害更严重,需要更多的医疗介入。因此有必要对男性实施伴侣暴力的心理机制进行探讨。僵化的性别角色规范给男性造成的心理和行为层面的负面影响,统称为性别角色紧张。国外研究发现,性别角色紧张的程度越高,对待伴侣暴力的态度越积极,越
学位
学位
学位
学位
学位
学位
学位