【摘 要】
：
随着深度学习的任务训练对计算资源的需求不断提高,采用GPU集群来训练深度学习任务成为首选.但基于集群的一些深度学习框架都需要手动设置训练方法以及环境资源,这样往往不能
【机 构】
：
上海理工大学光电信息与计算机工程学院;
【基金项目】
：
国家自然科学基金项目(61572325,60970012)资助;高等学校博士学科点专项科研博导基金项目(20113120110008)资助;上海重点科技攻关项目(14511107902,16DZ1203603)资助;上海市工程中心建设项目(GCZX14014)资助;上海智能家居大规模物联共性技术工程中心项目(GCZX14014)资助;上海市一流学科建设项目(XTKX2012)资助;沪江基金研究
论文部分内容阅读
随着深度学习的任务训练对计算资源的需求不断提高,采用GPU集群来训练深度学习任务成为首选.但基于集群的一些深度学习框架都需要手动设置训练方法以及环境资源,这样往往不能保证训练任务的耗时最短.本文针对该问题提出一种自适应任务分配方法,可以根据不同的训练模型,自动选择最佳的分配方案.本方法首先根据Roofline模型并结合训练模型,计算出每个计算节点的理论计算时间,然后再考虑不同训练方式过程中的通信时间和其它额外开销,最后根据组合优化的原理,从而确定深度学习任务的训练方式以及所涉及的计算节点.实验表明,本方法在异构GPU集群下训练Alexnet网络,可以表现出91. 6%的高准确率.
其他文献
文章分析了名牌川菜企业营销能力的问题,从营销观念、营销信息系统、营销战略、营销组织、营销组合策略和营销效益等方面提出了一些提高名牌川菜企业营销能力的对策。
咖喱在印度,每天在街头小巷间穿梭,却总是被种强烈浓郁的味道所吸引。来之前,就已听到太多的褒奖,有人说,在印度,不变的是传统,百变的是咖喱;有人说,在印度,味蕾会得到大程度
本研究利用自主开发的荔枝SNP和EST-SSR两种分子标记技术,对近年发掘的荔枝优稀种质御金球进行分子鉴定,明确其与现有的363份荔枝种质的亲缘关系,以探索其是否为新种质,并揭
针对遥信误发、漏发问题产生的原因,从技术角度进行较全面分析并提出解决方案。
全宁地处大宁之北,原为蒙古弘吉剌部驻牧之地。洪武年间明军北征蒙古,即在元全宁路址设立了全宁卫,用以招徕归降蒙古人驻扎。全宁卫的设置宣告全宁一带作为蒙古弘吉剌部驻牧
深化高职院校物业管理专业教学改革,培养物业管理企业需求的人才,必须改革课程设置,加强稳定的校外实训基地建设,加强实践教学的师资队伍建设,从而探索出具有时代特色的物业
<正>民国初年一位教育家曾这样说,每个人一生成长过程中,都要接受来自家庭、学校和社会的教育和熏陶。家庭、学校、社会就像是三道"染缸",家庭则是第一道"染缸",是给人生打"
企业管理制度作为企业进行管理的依据和基础,其有效性直接决定着企业管理活动的绩效。但是我们发现,有部分企业的管理制度在执行过程中常常会失效,最终导致企业管理水平的落
人类文化中包含着一系列基础性的文化技术,诊疗也可被视作其一。与疾病一样,对疾病的诊疗也是文学中的经典母题。文学演示作为文化技术的诊疗行为时,会进行独特的重塑,生成一
β-防御素在黏膜上皮细胞广泛表达，在先天免疫系统中扮演重要角色。因具有独特的抗菌机制和广谱抗细菌、抗真菌、抗病毒活性。极难产生抗药性而日益受到人们的关注。就β-防御