【摘 要】
:
随着通信设备和传感设备数量的激增,分布式机器学习技术被广泛应用在边缘计算、智慧城市、智能汽车等领域中。然而,分布式机器学习如分割学习等算法在实际应用中仍然存在诸多问题。首先,由于串行训练的特性,分割学习的训练时间随着参与者数量的增加而明显增加,这将导致无法把分割学习部署在成千上万台通信设备的大型应用场景中。其次,由于设备所在地区、时区的差异,不同边缘设备上数据的分布往往不同,而通过聚合这些设备上分
论文部分内容阅读
随着通信设备和传感设备数量的激增,分布式机器学习技术被广泛应用在边缘计算、智慧城市、智能汽车等领域中。然而,分布式机器学习如分割学习等算法在实际应用中仍然存在诸多问题。首先,由于串行训练的特性,分割学习的训练时间随着参与者数量的增加而明显增加,这将导致无法把分割学习部署在成千上万台通信设备的大型应用场景中。其次,由于设备所在地区、时区的差异,不同边缘设备上数据的分布往往不同,而通过聚合这些设备上分布不同的数据所训练出的模型的准确度会明显下降。针对以上的这些问题,本文首先提出了一种基于蒸馏技术的并行分割学习算法,小幅提升模型准确度并且明显地降低了训练时间;接着设计了一种激励机制,使得提出算法能够更好地适应用户设备上的数据分布不均匀的训练环境;最后讨论了提出算法在无人车数据融合中的应用。本文的主要贡献如下:1.本文提出了一个基于蒸馏技术的并行分割学习算法,通过边缘设备上的模型并行训练的方式,在保护数据隐私的前提下,大幅降低了训练时间;利用一个带蒸馏项的损失函数代替边缘设备端模型同步的过程,使得边缘设备上的模型能够学习到其他边缘设备上的知识,提高了模型分类的准确度;并且证明了本文提出算法的收敛性。2.本文设计了一种基于斯塔克尔伯格(Stackelberg)博弈的激励机制,激励用户使用更多、分布更均匀的数据参与训练。首先根据边缘设备的数据分布建立斯塔克尔伯格博弈模型,然后证明该博弈模型纳什均衡解的存在性,最后设计一个网格搜索算法求出最优解。在边缘设备上数据分布不均匀的场景下,并行分割学习算法结合激励机制,能够大幅提高模型分类的准确度。3.本文将所提出的并行分割学习算法应用于基于数据融合的道路检测任务。首先对道路检测模型进行分析,并在模型中寻找最优的分割点。然后提出了一种分布式的道路检测方法,并且对激励机制及蒸馏损失函数进行调整以适应道路检测模型。实验结果表明,与其他的分布式机器学习算法相比,本文提出算法的训练时间平均减少66%,模型分类的准确度平均提高7%。同时,在边缘设备数据分布不均匀的场景下,基于激励机制的训练方案能够使得模型分类的准确度平均提高125%。而在道路检测任务中,本文提出方法的最大F1分数平均提高1.3个百分点。
其他文献
由于我国资本市场起步较晚,发展仍不成熟,一些民营企业出于缓解融资约束问题、提高已有资本的利用效率等原因走上了多元化、集团化的发展道路,构建企业内部资本市场。内部资本市场在理论上能够缓解信息不对称问题,在外部资本市场不能有效配置资源时起到补充和替代的作用,促进资本合理配置并且提高企业外源融资能力,即发挥“活钱效应”和“多钱效应”。然而当企业多元化业务繁杂、组织规模庞大时,内部信息传递和决策的成本上升
“碳中和”目标下,新能源加速替代传统能源,能源增量也向新能源倾斜。在这种背景下,传统能源行业的增长空间被不断挤压,未来或将面临着巨大的考验。为此,传统能源企业纷纷寻求绿色转型之路,拓展全新的业务,以期提升企业价值创造的能力。但是,由于新能源行业的特征与传统能源行业截然不同,绿色转型的传统能源企业的价值影响因素更加多元化和复杂化。为此,深入研究绿色转型的传统能源企业的价值评估就显得尤为重要。本文以绿
光学的相关内容在物理教学中有着重要地位,是培养学生的物理学科核心素养的重要一环。传统的光学实验理论知识抽象、调试难度大、操作时间长、测量精度要求高,学生很难在有限的学时内通过改变参数全面观察实验现象。随着现代科技的进步,越来越多的教师和研究者为了将光学实验的现象清晰化,选择利用计算机软件对光学实验现象进行模拟。以STEM教育理念为引导的“模块化光学实验实境演示仪”也应运而生。本研究探索了目前存在的
根据义务教育英语课程标准(2011年版),学生在义务教育阶段要形成初步的综合语言运用能力。而写作技能作为一项英语输出技能,很大程度上体现出学习者的英语素养。因此,英语写作在英语学习中的重要地位不可忽视。然而当下学生的英语写作兴趣和写作意识薄弱,特别是在农村地区,学生缺乏良好的英语写作能力,整体英语水平较低。教师如何改变这一现状,突破传统教学法的局限这一问题显得尤为重要。本研究基于此将体验式教学模式
电能自其产生以来便广泛应用于各个行业,现如今已发展为关系经济发展和民众生活的基础能源,在能源市场占有不可替代的地位。但电力资源的分布受限较多,尤其在能源紧缺、全球经济危机、疫情蔓延等全球共性问题爆发的势态下,电力供应也随之受到影响。目前电站是电能的唯一生产源,其建造地址决定电能的分布。随着电站各项技术自主研发和设备生产水平的飞速发展,我国各项电站设备技术的国际认可度得到了很大提高。如何拓展电站出口
随着我国的经济不断飞速发展,城市化进程不断加快,对城市管理的要求越来越高。而违法建筑治理的问题一直都是城市管理的顽症,造成这种现象的原因有很多,涉及到方方面面。虽然与违法建筑相关的法律法规经历过多次更新,但违法建筑的问题依旧愈演愈烈。违法建筑的问题已经触及到了我国社会治理的基本法律,影响了城市治理的局面,不仅容易激发社会矛盾,也影响公共空间分配的公平性。作者在D镇综合行政执法队的拆除违法建筑办公室
富氢气体中CO的优先氧化(CO-PROX)是纯化质子交换膜燃料电池(PEMFC)氢气燃料的最优途径之一。鉴于PEMFC在用于便携式移动电源和车载电源过程中会不可避免地受到颠簸,CO-PROX催化剂必须具有高抗震性。另外,CO和H2的氧化均为放热反应,床层温度升高会导致H2氧化加剧、选择性降低和“热点”产生、催化剂失活。以金属纤维/泡沫为骨架的结构化催化剂具有高通量低压降和优良的传质传热性能,可以有
随着社会经济转型,土地用途冲突越来越明显,山区如何缓解土地利用冲突,实现农业强、农村美、农民富的目标,需要对山区土地进行适宜性评价并分区。贵州省是高原山地地区,典型的喀斯特地貌,山多平地少,正负地形交错,坝子作为人类生产生活的主要场所,是人类活动显著区域。随着新型城镇化、工业化、农业现代化及旅游产业化进程推进,坝子内部各类土地用途冲突日益尖锐。坝子是贵州省重要的粮食和农产品生产基地,也是农业产业化
根据《国际疾病分类(第十一次修订本)》(ICD-11)和《精神障碍诊断与统计手册(第5版)》(DSM-5),孤独症谱系障碍(Autism Spectrum Disorder,ASD)属于神经发育障碍,其核心表现为社会交往与沟通的质的缺陷和刻板、重复的行为特征,通常预后不佳而导致终身精神残疾。交互式语言即俗称的对话,是语言的一种类型,讲者对他人或自己的话语做出一个语言的反应。交互式语言是构成社会与学
在通信技术的迅猛发展和移动终端的广泛普及的同时,运用互联网思维引领政务服务向移动终端延伸成为“互联网+政务服务”深入发展的应有之义,建设移动政务也是优化政务服务、回应公众需求的必要举措。我国移动政务的建设也随着电子政务的持续拓展而加快推进的步伐,截至2021年6月,31个省级政府都已开通运营移动政务客户端,政务APP在省级政府层面的创新与传播是一个典型的政策扩散过程,但学界鲜少有人关注,关于移动政