个性化联邦学习算法设计与实现

被引量 : 0次 | 上传用户:liuling
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着数据孤岛问题的出现以及用户对数据隐私安全的顾虑,传统集中式机器学习方法受到了质疑,而联邦学习作为一种具有隐私保护的分布式机器学习技术,可以在数据不出本地的前提下,实现模型的联合训练。联邦学习自提出以来便受到学术界和工业界的密切关注,但依然存在诸多挑战。其中,针对数据异构性挑战,个性化联邦学习由于能对客户端进行个性化处理,为每个参与方训练出性能较好的个性化模型,成为了一种有效的解决方法。然而在数据异构场景下,现有的个性化联邦学习方法在分类数据集上的效果仍然有较大的提升空间。在个性化联邦学习中,还可以对客户端本地数据中的局部知识和客户端数据之间的全局知识做进一步地挖掘。为了克服上述缺陷,本章提出了相应的改进方法:1.针对全局知识未被更好地利用的问题,本文提出了一种基于原型对比学习的个性化联邦学习模型。在数据域异构场景下,本文设计了一种基于原型对比学习的个性化联邦学习模型。利用信息强化层的输出表征作为数据原型,与所有类别的全局原型计算对比损失,从而充分利用全局知识,缓解数据异构性的影响,提高模型的性能。本文通过实验验证了该模型的有效性。2.针对参数聚合缺乏个性化的问题,本文提出了一种新的个性化参数聚合策略。传统的联邦学习算法根据客户端数据量大小确定参数聚合的权重,缺乏个性化。本文设计了一种个性化的参数聚合策略,利用客户端级别的原型信息,计算客户端之间的相似度,从而实现个性化的参数聚合。本文通过实验验证了该参数聚合策略的有效性。3.针对局部个性化和全局泛化的权衡问题,本文提出一种基于多任务学习的个性化联邦学习模型。之前的个性化联邦学习方法,追求个性化的同时削弱了全局泛化能力。为此本文提出了一种基于多任务学习的个性化联邦学习模型。模型学习过程分成学习本地局部信息和学习全局信息两个任务,通过设计专家网络和门控网络,让模型权衡好本地模型训练时所用的局部信息和全局信息,充分挖掘本地数据分布和全局数据分布之间的隐式关系,提高个性化联邦学习模型的性能。本文通过实验验证了该模型的有效性。总的来说,本文针对数据异构场景下现有个性化联邦学习方法存在的不足之处进行了研究和改进,提出了一种基于原型对比学习的个性化联邦学习模型、新的个性化参数聚合策略以及一种基于多任务学习的个性化联邦学习模型,最后通过大量实验验证了所提出方案的可行性和有效性,该研究成果在个性化联邦学习领域具有一定的应用价值。
其他文献
粮食储备企业散粮入库过程中会产生一定风耗损失,为研究风耗数据,中储粮济南公司结合轮换收购工作进行人工散粮入库及液压翻板散粮入库风耗数据试验,通过试验证明不管是何种作业方式,入库过程中均会出现风耗损失,其中人工入库风耗数量略大于液压翻板入库风耗数量,两种作业方式下平均风耗数量为0.2%左右。结合试验情况,提出了降低入库风耗损失的可行性意见。
期刊
目的 评估不同抗凝方式对肝功能不全患者持续肾脏替代治疗(continuous renal replacement therapy,CRRT)管路寿命和并发症的影响。方法 回顾性分析北京佑安医院近12年进行CRRT治疗的319例肝病患者资料,对比全身肝素、枸橼酸钠局部抗凝与无抗凝对管路寿命和并发症的影响,分析影响管路寿命的危险因素。结果 无抗凝的管路寿命为10(6,21)h,肝素抗凝为13(9,23
期刊
近年来,国内学界对毛泽东思想当代价值的研究方兴未艾。其中,毛泽东思想与中国共产党人伟大精神的关系、毛泽东对创造性转化和创新性发展中华优秀传统文化的贡献、毛泽东思想及其重要理论观点在中国特色社会主义新时代的意义价值等问题成为众多学者关注的热点话题。在研究成果、视角、方法以及问题场域等方面取得很大进展的同时,也存在关照现实需要的意识不强、整体性研究匮乏等不足。
期刊
<正>非洲岛国马达加斯加的雨林地带,生长着一种名叫旅人蕉的植物。它高达20多米,粗约半米,叶子硕大宽阔,状如芭蕉,极像一把打开的巨型折扇,又颇似孔雀开屏,非常美丽、壮观。高大挺拔的旅人蕉不仅模样漂亮、别致、可爱,而且作用与贡献也非同小可。可以说,它们全身都是宝——一棵旅人蕉就是一把巨大的绿色“遮阳伞”,其叶子长可达三四米,宽近一米,全部集中生长在粗壮茎干的顶端。它们遮天蔽日,形成大片绿荫,
期刊
随着数字化时代的来临,以计算机为核心的数字信息技术不断发展,促进了数字化技术与音乐的创新融合,同时也为高等师范教育音乐理论课程的融合提供契机。本文以高师音乐学专业的学科基础课程《西方音乐史》为例,着重分析数字化时代背景下音乐理论课程融合的契机,提出数字化时代背景下高师音乐理论课程融合的优化策略。
期刊
为研究不同环缝接头结构对盾构隧道纵向刚度的增强效果,采用等效连续化模型计算得到断面直径对隧道纵向拉压、纵向抗剪和纵向抗弯刚度的影响规律,将隧道纵向刚度增强措施与管片环缝接头结构相联系,采用数值模拟深入探究了九种环缝接头结构的力学性能,对比得到增强隧道纵向刚度效果最优的环缝接头结构。结果表明:直径对纵向拉压和纵向抗弯刚度影响较小,对纵向抗剪刚度影响较大;环缝接头刚度增强措施能够显著减小管片位移,提高
期刊
采用改性剂PA对不饱和聚醚HPEG进行端羟基改性,得到改性聚醚,再将其取代部分HPEG,然后与AA共聚,制得疏水改性减缩型聚羧酸减水剂PA-PCE。经傅里叶红外光谱和核磁共振氢谱对改性聚醚及PA-PCE进行了表征,另一方面,通过GPC分析、水溶液表面张力试验,对比了PA-PCE与未改性HPEG型PCE(简称未改性PCE)的性能差异。结果表明,改性聚醚PA-HPEG的最佳酯化条件为:改性剂和HPEG
期刊
针对“四散”散粮运输过程中,打开散粮车车门的环节风险大、易发生埋人事故等问题,中央储备粮福州直属库有限公司研发了集装箱卸粮安全控制装置,该装置操作便捷,安全保险系数大,能有效防止车门失控造成粮食倾泄埋人事故,同时能够精准控制粮食流量大小,保证入库粮食的杂质清理效果。
期刊
为了探究不同含水率和埋深等工况下的黄土盾构隧道开挖对围岩的扰动作用特征,采用相似模型试验,首先通过三轴试验测定了不同含水率下原状黄土物理参数及强度指标,通过大量试配得到了不同含水率下与原状黄土强度指标参数相似的试验用土。其后,考虑盾构隧道盾尾间隙特征,开展不同含水率及埋深等组合工况下盾构开挖模拟试验,通过微型土压力传感器、百分表等监测元件以及数字图像技术等手段,分析了不同工况下地层变形、地表沉降和
期刊
<正> 和静香的中国之旅过后,大雄又休息了一阵子。这天,他接到了好朋友小夫的电话,小夫邀请所有的朋友去看他旅行时拍的照片。原来,他在暑假里和家人一起到马达加斯加度假了。大家聚到一起,当然免不了谈起暑假作业。
期刊