移动边缘计算中面向倾斜数据的分布式异步优化算法研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:meimeini
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,分布式异步离线优化算法受到广泛关注。相比分布式同步架构,各个计算节点独立计算、不受约束的特性使其在大规模数据和复杂模型上拥有高性能、高效率的表现。另一方面,随着移动边缘计算逐渐成为发展趋势,数据从以云为中心分布到边缘节点,边缘节点本地处理数据的特性带来低时延和安全性的同时,分布式协同任务将面临天然的非独立同分布的倾斜数据情形。移动边缘计算场景下的分布式机器学习异步训练的意义越来越突出,而此前的研究中,分布式异步离线优化算法在这种倾斜数据上的性能和收敛精度并不令人满意,因为各个计算节点上稀疏、偏置的数据特征会导致训练过程产生振荡并最终影响收敛。
  针对移动边缘计算中倾斜数据的分布式异步优化,提出一种具有“局部平均梯度”和“全局动量”的梯度调度算法(Gradient Scheduling with Global Momentum, GSGM)。首先,GSGM在中心服务器而非边缘节点上应用动量方法,用各个节点贡献的历史梯度的累积削弱偏置方向的影响。其次,GSGM利用基于白名单的调度策略使各个节点的梯度更新平衡而有序。最后,全局动量的作用对象是局部平均梯度,其意义是将每一轮调度结束时各节点最近一次计算的梯度的平均作为无偏方向的良好估计。实验结果表明,对于在相同实验条件下的非独立同分布数据训练,应用在流行的优化算法上的GSGM可以使训练稳定性提高20%,同时对Fashion-Mnist和CIFAR-10数据集上的模型精度略有提高。另一方面,当扩展分布式规模而在CIFAR-100数据集上导致倾斜数据分布愈加稀疏时,GSGM可以将训练稳定性提高37%。在多达30个边缘计算节点时,用于比较的卓越算法均无法完成训练过程,GSGM的收敛仍然稳定、高效且精度高。此外,GSGM对不同程度的倾斜数据具有鲁棒性。
其他文献
在以Kinect为代表的消费级深度相机进入市场后,基于深度相机的三维重建技术得到了快速发展并被广泛应用于游戏,设计,建筑等领域。但是,当前基于深度相机的三维重建技术仍然存在一些问题。在相机位姿计算方面,由于位姿计算依赖于传统图像特征提取,当场景纹理较弱或是重复纹理较多时,相机位姿计算不够准确,跟踪鲁棒性不足,直接影响到重建出的点云质量;在重定位和闭环检测方面,同样由于依赖场景纹理特征,导致重定位和
学位
使用智能手机进行三维重建具有设备成本低、方便携带、易于获取实时反馈等优势,随着智能手机计算性能的不断提高,在智能手机上进行实时三维重建有了可行性。目前在智能手机上的实时三维重建算法普遍存在位姿估计不准确,算法效率低,建模质量不高,只能重建小场景等问题。  本文为解决上述问题,设计了基于智能手机的实时三维重建系统。系统由三个线程构成,分别是:建模线程,后端优化线程以及显示线程,建模线程负责彩色图像获
学位
深度强化学习近年来在围棋算法、计算机游戏、机器人仿真控制等存在巨大状态空间的应用场景下取得了很大的突破,这得益于深度神经网络的函数逼近能力,也依赖于模拟器和计算资源,因为模拟器可以在计算资源足够的情况下快速并且近乎无限地生成智能体与环境交互的数据。但是在许多实际应用场景下,例如推荐系统、物流管理、能源系统优化、机器人实际控制中,数据采集是高成本且低频率的,从而导致数据稀缺。因此,若想使得(深度)强
学位
颅内血管疾病是近几年来死亡率居高不下的严重疾病,给全世界患者带来严重的生命威胁。而非创伤性血管成像技术(CT angiography,CTA)能够显示大脑各大动脉细节,能够辅助医生早期发现患者颅内血管的隐藏病变。该技术不仅对患者安全高效,而且是辅助颅内血管疾病诊断的常用技术之一。而在医生分析CTA影像的大脑血管病变状况过程中,首先需要去除CTA影像中的颅骨部分,再进行血管的三维重建成像。但在目前提
学位
场景的实时三维重建是一个非常热门的研究领域,其目的是使用消费级可见光相机对场景进行扫描,自动生成一个精确完整的三维模型,该算法在增强现实游戏、机器人室内导航、AR家具展示等领域都有广泛的应用前景。此外,该领域注重实时性,也就是在扫描的同时生成三维模型。现有的研究只能使用稀疏点云进行实时网格构建,生成的模型不能充分表现场景的精确三维信息,从而难以进行应用。因此,研究更高精度的实时三维重建算法非常有必
随着医疗技术与人工智能技术的不断发展,形体健康渐渐成为了女性群体普遍关注的问题。女性在怀孕前后形体通常会产生较大的变化,其中异常的变化会对身体产生危害。快速智能的形体评估可以帮助医生更加准确高效地定位并量化形体异常,具有较大的研究意义和应用前景。  运用深度学习和图像处理相关技术,设计并实现了一套形体评估系统。该系统首先通过kinect深度相机采集体表的深度图像,经过预处理后分割出人体区域。然后通
学位
医学图像分割是计算机辅助诊断与治疗的基础,它对于提高医生关于心包积液、心包肿瘤等疾病诊断的效率和准确率来说有着独特的价值。研究基于深度学习的心包分割算法能够有效提高医生诊断的效率和准确率。  首先针对心包分割目前还未有公开数据集的问题,在专业医生的指导下,使用医学图像标注工具ITK-SNAP,制作了心包分割数据集,数据集结果得到了医生的认可。  其次,针对心包在图像中的特点,将三维卷积神经网络作为
随着虚拟现实技术的快速发展,真实场景与虚拟对象的虚实融合技术促成了更具广泛应用价值的增强现实领域。增强现实应用要想获得理想的虚实融合结果,离不开对真实场景和虚拟对象间几何一致性和光照一致性的探究,其中光照估计是光照一致性研究的重点。由于真实场景多以图像或视频方式采集,图像中像素信息受到几何、材质、光照等因素难以拆分的复合影响,使得基于图像的光照估计面临巨大的挑战;进一步,当真实场景图像仅为单幅时,
学位
随着信息技术的发展及大数据时代的到来,产生及存储越来越多异源异构的数据。为了能够简单高效的使用这些高度多样化的数据,对这些数据进行数据融合就至关重要。而集合相似度连接是数据融合中的根本任务。集合相似度连接指在给定相似度度量函数(如重合相似度、Jaccard相似度、余弦相似度、Dice相似度及编辑距离等)下,计算由集合构成的数据集中所有相似度大于给定相似度阈值的集合对或最相似的前k个集合对。  基于
学位
近年来,随着目标检测领域的快速发展,使得基于目标检测的视频多目标跟踪算法取得了突破性进展,在视频监控与安防、智能医疗、自动驾驶等方面都有着非常广泛的应用。然而算法的跟踪速度问题以及如何应对目标遮挡带来的跟踪漂移问题,仍然是制约其实际应用的两个重要因素。本论文主要针对这两个问题展开了研究,主要工作内容如下。  首先,为了实现多目标跟踪网络跟踪速度与精度之间的良好平衡,提出一种融合目标检测与数据关联的