基于边缘计算的移动Web深度学习推理技术研究

来源 :北京邮电大学 | 被引量 : 0次 | 上传用户:douliangster
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着5G网络技术的快速发展和移动智能终端的广泛普及,融合网络能力与跨平台特性的移动Web应用促进了大量新型移动互联网业务的出现,包括移动办公、移动生活和移动社交等应用。可以预见,随着移动Web浏览器调用终端设备本地计算能力和效率地不断完善与提升,移动Web服务必将成为未来移动互联网时代的主流形式。然而,受限于移动Web低效的JavaScript计算环境和即时加载的服务提供机制,在移动Web上实现计算密集型的深度学习任务目前仍难以获得满意的体验。即使利用高带宽、低时延的边缘计算架构提供协作式计算服务,在移动Web上实现高效、节能的深度学习推理仍然存在诸多挑战,具体包括:(1)现有的分布式深度学习推理技术难以直接部署、运行在移动Web平台中,离线模型的推理时延与能耗估计缺乏对低效的计算环境和动态上下文的考虑,且无法提供平衡多个优化目标的分布式推理方案;(2)移动Web的弱计算环境导致大多数密集的深度学习推理计算通常被卸载到边缘云和远端云中完成,缺乏能够在移动Web上独立完成任务推理的轻量化协作式推理服务;(3)移动Web动态、复杂的运行环境导致固定的轻量化协作分支难以提供上下文感知自适应推理服务。因此,如何平衡轻量化分支模型的推理效率和精度也是协作式移动Web推理面临的难题之一;(4)尽管“云-边-端”架构在移动Web和服务端之间提供了动态、可协作地深度学习推理,但是用户的移动性、聚集性可能导致高并发协作请求现象。实际应用中,在边缘云中部署大量闲置的服务器资源是不切实际的。因此,边缘计算环境下针对高并发的移动Web协作请求如何提供动态的任务编排与资源调度是合理优化资源使用、提升服务体验的重要基础。针对上述挑战,本文研究了基于边缘计算的移动Web深度学习推理关键技术,重点从自适应切分的分布式推理技术、轻量化二值分支的协作式推理技术、上下文感知的协作式推理技术以及移动Web协作请求动态调度技术等方面展开深入研究,具体的研究内容及贡献如下:(1)提出了移动Web与边缘云之间自适应切分的分布式深度学习推理技术。首先设计了一个面向移动Web的自适应切分的分布式深度学习推理框架,提出具有自学习特性的推理时延与移动能耗估计方法,扩大对泛在终端设备和Web浏览器支持,并建立了时延和移动能耗为多目标的优化模型以提供最佳的模型切分策略。在标准数据集上与代表性的分布式深度学习推理方案进行比较,实验结果显示了该方法的有效性与高效性。(2)设计了具有轻量化二值分支的协作式深度学习推理框架,并提供包含全精度骨干网络和二值分支的联合训练方法,允许轻量化二值分支在满足精度需求时提前退出协作式推理,即无需边缘端全精度骨干网络的协作。此外,实现了适用于移动Web平台的高效二值分支推理库,与已有的Web深度学习推理库相比,有效支持在移动Web与边缘云之间提供在线协作式推理。在多个深度学习模型和经典数据集上进行验证,结果表明所设计的轻量化协作式推理方案有效降低了推理时延和移动能耗,提升了系统的吞吐量。(3)在轻量化二值分支的协作式移动Web推理服务提供基础上,进一步设计将移动Web、边缘云和远端云融合、联系起来协同提供深度学习推理服务的框架,并提出一个上下文感知的轻量化模型剪枝算法,其考虑了移动Web在线协作推理请求的推理时延、网络带宽和终端设备算力等多个因素。此外,针对“云-边-端”协同服务架构下的轻量化协作分支模型缓存更新、实时匹配提供等问题,分别介绍了一种离线缓存模型的更新机制和在线阶段的实时智能模型匹配器,并优化、提升了在线阶段面向海量移动Web用户提供轻量化分支模型请求的搜索效率。(4)为了进一步提升协作式深度学习的推理效率、移动能耗以及系统吞吐量,合理优化使用资源、均衡资源的计算负载,提出边缘云环境下基于强化学习的动态调度方案,最大限度地提升边缘中心之间的资源利用率。此外,针对混合云环境下不同阶段优化目标存在的差异,设计了一种两阶段的在线强化学习方法,在不同阶段对不同的调度目标进行优化,并提出奖励预测模型,有效降低了模型的训练和收敛难度。仿真结果与实际应用验证表明了所提出动态调度算法的有效性。
其他文献
水稻是我国重要的粮食作物。光合作用是水稻生存的基础,提供其所需要的物质和能量。叶片的发育直接影响光合作用的速率进而影响植物的生长。因此,研究水稻叶片发育机理尤为重要,近年来,逐渐成为研究热点。中介复合体(Mediator complex,MED)是一类在真核生物中高度保守的大的、重要的多亚基转录共激活因子。主要是介导增强子中的特异性转录因子和结合在启动子上的RNA聚合酶II,是两者信息传递的重要桥
随着城市化进程的推进和全球经济市场化程度的不断完善,城市的发展成为地区或国家发展的重要战略。体育赛事作为城市事件营销的主要手段,已成为世界范围内城市营销的战略工具。随着城市竞争与城市营销日益加剧以及城市品牌成为城市发展的战略,传统体育赛事发展已越来越显示出理论的不足和实践的困惑,发展以城市品牌为导向的体育赛事具有重要的意义。本研究从城市品牌的视角来审视体育赛事的治理,以公共物品理论、城市治理理论、
目前同位素定年方法由于测年对象(如锆石)的精度和固有误差,通常难以用于估计岩浆喷发的持续时间,本文首次利用熔岩流所记录的古地球磁场长期变化分析中国西南东川地区中晚二叠世峨眉山玄武岩的净喷发时间(不包括>500年的火山休眠期),且将轴向地心偶极子场的假说和磁性地层学研究综合起来,限定了峨眉山玄武岩正极性段的总喷发时间(包括>500年的火山休眠期)。东川地区630m厚的峨眉山玄武岩可很好的分离出特征剩
工农兵作者写作是个复杂现象,它不仅有着独特的理论基础和相对完整的发展体系,还产生了不少写作者,生产了无数文学产品,形成了文艺界的独特景观。尤其是在1949-1966年间,工农兵作者写作现象形成了一个自在的发展形态,它有着相对明晰的作者培养模式、系统的作品生产结构和广阔的发展网络,在整个过程中,国家政治与工农兵群体所生活的民间场域以及作为文学生产者的作者之间,形成了比较特殊的关系。从充分代表无产阶级
鲁西地区新太古代早期和晚期构造热事件十分发育,形成广泛分布的深成侵入岩(主要是花岗质岩石)和表壳岩系,称之为鲁西花岗一绿岩带。根据近年来的研究,鲁西太古宙基底空间上显示出明显的分带性,从东北到西南被依次划分为A、B、C三个带。A带主要为新太古代晚期(2.525~2.480Ga)未变形的二长花岗岩和正长花岗岩,B带主要出露2.75~2.60 Ga的TTG片麻岩,也有变质表壳岩和新太古代晚期花岗质岩石
尽管全球生态演变及其表现形式因地而异,但干旱、土地退化和荒漠化现象在世界各地普遍存在,已经成为一个全球性问题。蒙古国41.3%的土地为干旱和半干旱地区,很多土地退化严重,生态系统十分脆弱,这与其长期赖以生存的畜牧业关系密切,游牧业整体处于高度危险之中。大约草地总面积的70%均不同程度受到自然和人为因素相互作用的影响,其中10.3%的土地已出现退化或荒漠化。由于牲畜数量急剧增长,草地植物种类变化和水
随着移动互联网等信息技术的飞速发展以及智能手机等通信终端的日益普及,人类社会已经步入大数据时代。数据收集是获取大数据的重要手段。通过收集和分析用户数据,数据收集者(服务提供商)可以挖掘用户的群体和个人特征,进而提供更优质的用户体验和制定更适宜的发展战略。然而,用户的数据中往往包含大量的个人敏感信息,直接收集这些数据可能导致严重的个人隐私泄露问题。隐私保护的数据收集技术为解决数据收集带来的个人隐私泄
泛在的高精度位置信息是智慧社会建设的核心基础。基于移动通信网络的室内定位技术在广域无缝覆盖上具有天然优势,多入多出天线等技术使得5G网络能够在下行信号到达时间差之外测量上行信号的到达角度和信号飞行时间等多种高精度异构定位观测信息,在终端定位过程中融合它们能够增加信息冗余量,增强定位系统可靠性,是当下定位导航领域的研究热点之一。但5G网络超密集组网等特点也为观测信息融合高精度定位带来了挑战。本文主要
完达山杂岩带(即那丹哈达地体)位于中国黑龙江东部,与俄罗斯远东地区的锡霍特-阿林增生造山带相连,它们共同构成环太平洋中生代造山带的重要组成部分。完达山西侧以跃进山断裂与佳木斯地块相连,由于佳木斯地块西缘与归属于中亚造山带构造体系的松辽地块接壤,因此该区域在大地构造位置上位于古亚洲洋和古太平洋构造体系的过渡部位,因而一直受到研究者的广泛关注。因此,对完达山杂岩带的研究一方面有助于更清晰的认识该杂岩带
近年来,我国影子银行活动日益活跃,形成了独特的业务模式,一定程度上缓解了我国经济运行中存在的融资难困局,但其生成的系统性风险对我国金融稳定的威胁也越来越大。金融稳定是我国经济健康发展的基础,而维护金融稳定的关键在于有效遏制系统性风险的生成。本文将研究对象聚焦到我国特有的影子银行活动及其引发的金融稳定等问题上,从厘清我国影子银行业务运行模式和特征出发,分析其中存在的各类风险,并从时空维度剖析系统性风