【摘 要】
:
联邦学习是一种能够让多个客户端在不共享数据的情况下协同训练机器学习模型的分布式机器学习技术。然而,已有的研究表明,当客户端之间的数据分布是异构的时候,联邦学习会出现明显的性能下降。为了解决这一具有挑战性的问题,研究人员提出了个性化联邦元学习,其中每个客户端通过在联合训练的全局元模型上进行微调获得个性化模型。尽管个性化联邦元学习在这一问题上取得了不错的成果,但是由于这类方法隐式地假设了不同客户端中采
论文部分内容阅读
联邦学习是一种能够让多个客户端在不共享数据的情况下协同训练机器学习模型的分布式机器学习技术。然而,已有的研究表明,当客户端之间的数据分布是异构的时候,联邦学习会出现明显的性能下降。为了解决这一具有挑战性的问题,研究人员提出了个性化联邦元学习,其中每个客户端通过在联合训练的全局元模型上进行微调获得个性化模型。尽管个性化联邦元学习在这一问题上取得了不错的成果,但是由于这类方法隐式地假设了不同客户端中采样的任务是来自同一任务分布的,当面临数据异构程度较大的场景时,其依旧会出现性能下降问题。针对上述不足,本文分别研究了基于单模型和基于多模型的个性化联邦元学习。在数据高度异构的情况下,单一的全局模型不能够很好的泛化到所有的数据分布中。为此,本文研究了基于单模型的个性化联邦元学习。相比于传统做法中将所有客户端的本地模型初始化为全局模型进行本地更新,本文提出了p Fed Init,一种通过逐层变换操作将全局模型适应到不同本地数据分布的算法。实验结果表明,所提出的p Fed Init算法在模型精度和通信消耗上均优于已有的基于单模型的联邦元学习算法。然而,当数据分布呈现出多个明显不相交的集群时,单一的全局模型在训练中可能会受到多个差异较大的更新方向的影响,导致其难以收敛到一个稳定点。为此,本文提出了G-FML,一种基于多模型的个性化联邦元学习训练框架。在训练过程中,G-FML框架能够自适应地将具有相似数据分布的客户端划分到同一个分组中,并为每个分组设置独立的元模型以适应不同的任务分布。通过在合成数据集以及真实数据集上的实验表明,相比于最先进的联邦元学习,我们所提出的训练框架最高提高了13.15%的准确率。
其他文献
软件架构是指导软件系统进行开发和实现的决策模型。良好的软件架构是可理解性、可测试性、可扩展性和可重用性的前提。然而,在软件实现过程中无法保证构建的软件没有偏离预期的软件架构。另一方面,随着软件的发展,软件架构可能需要进一步调整和优化。软件架构异味是指不良的架构设计,是常用的设计决策,会对软件的质量产生负面影响。由于软件的架构异味隐藏在实现的代码中,人工难以直接从软件代码中观察到架构异味,因此许多架
随着对高次谐波探索的不断深入,高次谐波的发展在一些领域已经取得了喜人的成绩,高次谐波其中一个最重要的应用就是来探测复杂的分子结构及动力学过程,这是由于高次谐波生成过程本身就来自于电子的超快运动,因此可作为探测分子和原子内部结构以及捕捉其内部电子运动过程的一种工具。利用高次谐波对分子轨道进行层析成像,也为研究分子的内部结构提供了前所未有的途径。本文首先利用Molpro量化软件获得较为准确的N2分子轨
Stack Overflow是最流行的编程社区问答(PCQA)网站之一,近年来吸引了越来越多的用户。用户的增加使得网站上有大量的问题被提出,而这些问题之间可能存在相关性而未被识别。当用户在Stack Overflow提出或查询问题时,若能提供与该问题相关的问题有助于用户解决问题。此外,识别出重复问题能够更好地帮助网站进行维护,也减少了提出重复问题的用户的不必要等待时间。尽管已有大量研究方法致力于自
自然界中许多动植物的身体部位因具有超疏水表面而表现出了自清洁、防水等独特功能。人们从中得到启发,成功将超疏水表面应用到生活、工业等多个领域。目前制备超疏水表面的方法层出不穷,主要有模板法,化学沉积法,光刻法等,但如何更简单更高效的制备超疏水表面,研究人员仍在积极探索中。近些年来,飞秒脉冲激光加工因其“冷加工”的独特优势成为了一种更方便快捷的制备超疏水表面的方法。目前飞秒脉冲激光制备仿生超疏水表面仍
超原子(Superatom)作为由多个原子形成的复杂高对称性分子系统,它的分子轨道展现出相近于原子中依壳层排布的电子轨道对称性,所以超原子具有丰富的物理内涵,并在模拟乃至替代原子方面有重要前景。尤其注意到,在一般分子的里德堡态激发(Rydberg state excitation,RSE)研究中,受分子轨道的对称性影响,控制价电子实现激发到更高或特定的里德堡态是较为复杂乃至困难的。相比之下,具有高
全无机钙钛矿纳米晶体CsPbX3(X=Cl,Br,I)由于其优异的稳定性、宽光谱范围的可见光致发光而在太阳能电池领域中备受关注。超快光谱技术提供了能够有效分析影响其光电转化性能的微观物理机制的有效手段。本文主要利用飞秒瞬态吸收光谱测量光激发后的基于金属离子掺杂全无机钙钛矿在光诱导下其光生载流子生成,分离,迁移,复合等超快动力学行为。杂质掺杂和外界压力的改变是调控钙钛矿材料的晶体结构和光学性质及提高
光与原子相互干涉产生的量子相干效应是光学领域的重要研究方向,其中电磁感应光透明(Electromagnetically induced transparency,简称EIT)和电磁感应光栅(Electromagnetically induced grating,简称EIG)是量子相干效应中典型的物理现象。这些现象得到了许多物理学者的关注,极具研究价值与发展潜力。在EIT效应的影响下介质对探测场的吸
近年来,边缘计算的蓬勃发展给机器学习带来了新的挑战和机遇。传统的云端机器学习需要收集用户数据以完成模型训练,但这有泄露数据隐私的风险。而在边缘计算的场景下部署分布式机器学习,即分布式边缘学习,不需要收集用户数据便能完成模型训练。因此,该方案有望成为既能保护用户数据隐私,又能利用数据价值的下一代机器学习解决方案。然而,开发和测试分布式边缘学习面临着众多新的挑战。一方面,当前缺乏对分布式边缘学习通用功
激光诱导击穿光谱(Laser-induced breakdown spectroscopy,LIBS)是用来对样品进行元素鉴别的一种原子发射光谱技术。它的基本原理是:激光脉冲聚焦到样品表面,烧蚀材料产生高温等离子体,通过收集和分析发射的特征谱线就可以确定样品的元素组成。激光诱导击穿光谱技术具有自己独特的优势,例如:对任何状态的物体都可以检测、对样品损伤较小、还可以实现远程在线测量等。因此LIBS技
激光诱导击穿光谱(Laser-induced breakdown spectroscopy,LIBS)是一种以激光和物质相互作用为基础的元素检测和分析技术。LIBS基本原理为脉冲激光经聚焦透镜会聚于样品表面,使得样品表面迅速升温并蒸发出微克量的样品,这些微克量级的样品在瞬间的融化和气化过程中产生高温高压的等离子体,这些等离子体迅速膨胀,辐射出光学信号。最后用光纤收集这些光学信号,并加以分析便可以获