深度学习模型的分布式优化方法研究

来源 :中国科学院大学 | 被引量 : 0次 | 上传用户:man416784150
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
为了追求更高的精度,当前神经网络的研究朝着模型更复杂、训练数据规模更大的方向发展,这导致模型的训练部署更困难、训练时间急剧增长。怎样将大型神经网络模型在多GPU集群环境下进行合理的部署,达到减少模型训练时间的任务极具挑战。当前研究主要基于数据并行方法来加速小模型的训练过程,或采用与已有大数据系统相结合的方案来实现模型的自动化训练部署,但它们均无法解决大模型训练面临的挑战;另外,针对终端设备智能化的趋势,当前主要采用由强大资源做后盾的云端部署方案。该方案可以达到很高的精度,却不能满足对延迟敏感的应用需求;最新趋势是采用直接在终端设备上部署小型化模型的离线方案,达到满足实时性和无带宽的场景需求,然而却以牺牲结果精度为代价。怎样实现低成本、低延迟、低带宽的推理模型的部署是终端设备智能化的主要挑战。  本文针对以上两个问题分别提出了相关方法。对于超大模型的训练部署,本文提出的NeuroPlacerOnCloud方法实现了基于模型并行的强化学习部署方案。通过精准预测大模型的训练时间、合理聚合模型的计算节点op并最终通过强化学习方法实现对模型的划分部署,不仅极大的加速了大模型的划分过程,而且使得该模型的训练速度提高了20%左右。本文的NeuroPlacerOnMobile方案在充分评估了终端设备的硬件性能后,选择最优的个性化部署方案,从而实现终端设备的模型部署目标。
其他文献
软件测试是为了发现程序中的错误而执行程序的过程,是目前保障软件质量最主要和最有效的方法,因此改进软件测试过程,提高软件测试的效率,降低软件测试的成本,是软件测试实践和发展
随着政务信息化的快速发展,无纸化网络办公已经逐渐被我国各级政府、事业单位广泛的普及和推广。规范、安全、可信的电子公文体系已经逐步取代了繁琐、低效的传统纸质公文体系
随着计算机技术的发展,人们开始探索将各种新技术应用于教育教学领域,同时也促进了CAI理论的发展。其中,课程软件概念的提出将CAI的功能从辅助教学扩展为教学与自学相结合的辅助
数字化半色调是一种把连续调图像转化为半色调图像的技术,广泛地应用于印刷和照排系统中。误差扩散算法是实现上述转化的最主要算法。随着印刷等技术的发展,对数字化半色调的速
演化性是软件的本质属性。为适应Internet开放环境和用户需求的变化,系统需要能够动态调整自身。系统的动态演化能力作为衡量软件自适应性和灵活性的重要指标,已成为软件工程
不同于传统基因表达检测技术,高通量微阵列技术可以同时测量成千上万基因表达水平,为功能基因组学基因调控网路研究提供强大的技术支撑。关联分析方法用于分析微阵列数据集基
视频监控中的异常行为检测已经受到广泛关注,特别是在公共安全领域。随着视频资料膨胀式的发展,人为监控判断资料的异常已经不能够满足安全保障的需要。本文致力于解决视频监控
需求工程是软件开发中的一个重要阶段。需求工程分为需求获取、需求分析、需求规约、需求确认和需求管理五个基本活动。其中,需求获取是整个需求工程的开端,其输出制品的质量会
二十世纪九十年代以来,互联网逐渐深入到人们日常生活的各个方面,成为不可或缺的一部分。互联网流量识别是互联网流量测量领域的研究热点之一,在提供网络信息、保证服务质量等方
随着信息技术的高速发展和现代战争的需要,多传感器信息融合作为一门新兴交叉学科得到广泛关注。基于信息融合技术的目标识别已成为国内外研究的热点。如何快速、准确地对目