【摘 要】
：
联邦学习是一种特殊的分布式机器学习,能在避免各方数据直接暴露的情况下共同训练共享的全局模型。联邦学习通过交换参与方的本地模型参数信息,共同学习联邦模型,从而完成用户数据共享。针对联邦蒸馏框架中服务器端平均聚合算法导致的全局训练性能较差的问题,本文提出了一种基于概率分布的加权平均聚合算法FD-PDWAA,该算法利用KL散度量化了客户端上传的概率分布的质量,并依此设计了新的服务器聚合算法,通过赋予客户
论文部分内容阅读
联邦学习是一种特殊的分布式机器学习,能在避免各方数据直接暴露的情况下共同训练共享的全局模型。联邦学习通过交换参与方的本地模型参数信息,共同学习联邦模型,从而完成用户数据共享。针对联邦蒸馏框架中服务器端平均聚合算法导致的全局训练性能较差的问题,本文提出了一种基于概率分布的加权平均聚合算法FD-PDWAA,该算法利用KL散度量化了客户端上传的概率分布的质量,并依此设计了新的服务器聚合算法,通过赋予客户端上传的概率分布不同的聚合权重,来降低低质量客户端或恶意敌手对全局训练造成的影响,提升全局训练性能。针对客户端数据异构导致的客户端模型性能降低的问题,本文提出更新差异程度来度量客户端更新的偏离程度。并提出客户端自适应本地迭代周期数优化策略ASE,该策略通过计算客户端本地梯度更新与使用RMSProp优化算法估计得到的全局梯度更新的Cosine相似度,来确定客户端本地迭代周期数。实现了不同客户端上的自适应本地迭代周期数的选择,避免了因客户端本地训练欠拟合或过拟合导致的全局模型性能下降的问题。最后,本文设计并实现了相关实验,验证了本文所提方法的合理性和有效性。实验结果表明,在MNIST和CIFAR-10数据集下,基于概率分布的加权平均聚合算法FD-PDWAA相比基线平均聚合算法,在两种测试集上的准确率分别提高了2.1%和2.2%,并且具有更强的抗攻击和抗干扰能力。同时,在使用本文提出的ASE策略后,基线算法在两种测试集上的准确率均有一定提升,并且能够减少客户端本地计算量,提高客户端训练效率。
其他文献
随着公安大数据建设的推进,在公安执法办案系统中案件数据被打上简要标签,以便实施标准化、信息化管理。但是当前只能实现对特定编号、类别或者关键字的案件信息的检索,而对大量案件的对比分析工作仍需人工进行,影响了公安工作的效率。因此,如何利用机器智能地进行同案发现、类案推荐、案件分类等是亟待解决的应用需求。本文从盗窃案件着手,提出了挖掘和查找相似案件的方法,具体研究工作如下:在对案件文本的关键信息进行提取
随着信息技术的高速发展和警务信息化建设的深入推进,公安情报工作有了较大的发展与改变,情报收集范围不断扩大、情报收集技术手段不断革新,对于个人信息的收集达到前所未有的深度和广度,这与个人信息安全保护之间的冲突愈发明显,大数据环境下公安情报收集工作中的个人信息安全问题日益突出。在这样的情况下,公安机关如何平衡情报收集与个人信息保护之间的关系,是一个需要深入思考和探讨的问题。本文以公安情报工作中的个人信
文化是一个国家、一个民族的灵魂。没有高度的文化自信,没有文化的繁荣兴盛,就没有中华民族的伟大复兴。文化强警战略,是对坚定社会主义文化自信的高度响应,是对推动和实现公安工作和队伍建设全面发展这一治警方略的归纳概括,要求以充分的文化自觉、高度的文化自信、切实的文化建设推动公安文化大繁荣大发展。公安院校的根本任务是为公安事业的未来培养合格的人民警察,是育警强警最直接、最基础的平台,公安校园文化作为公安文
随着信息技术和移动设备的发展,我国网络游戏行业规模不断扩大。如今网络游戏已成为互联网产业中重要的组成部分。由于游戏虚拟商品有别于实体商品,网络游戏业务相较于常规业务特殊、复杂,这导致网络游戏行业的会计信息更难准确取得。财政部于2017年发布新收入准则,希望能为企业收入确认与计量提供指引。但《2020年上市公司年报会计监管报告》中显示,部分上市公司仍存在对新收入准则理解和执行不到位、信息披露不充分的
自情报主导警务战略实施以来,公安情报工作在打击违法犯罪、预警防范重大风险、维护社会治安稳定等方面发挥着重要作用。随着社会信息化的发展、“科技兴警”的不断建设,公安情报工作面临着新形势、新挑战,对情报分析的质量提出了更高要求。公安情报分析能力作为分析人员的核心能力,直接影响着情报分析的质量,因此,对公安情报分析能力的培养就变得更加重要。当下认知心理学在情报分析领域内的应用方兴未艾,这为公安情报分析能
随着社会经济的不断发展,各企业对中职文秘专业的毕业生提出了更高的要求。应用文写作水平的高低是衡量文秘专业教学效果的重要尺度,具备良好的应用文写作技能是当今社会文秘专业需具备的基本素养,这就需要中职文秘专业的学生掌握扎实的应用文写作理论知识和基本技能,以提升未来市场竞争力。目前,应用文写作教学状况并没有预期中那么理想,课程本身复杂的特点以及老套的教学过程,都不利于调动学生学习的主动性,这就会直接影响
职业技术教育是中国国民教育系统的重要组成部分,肩负着培养高素质、高技能人才的重要职责。在全面构建中国社会主义现代化教育体制的崭新征程中,职业技术教育的发展前景广阔。国务院印发《关于推动现代职业教育高质量发展的意见》中要求新时代中等职业教育应稳步发展,在保持职业教育办学发展方向不变的情况下,建设一体化职业技术教育人才培养模式,推动课程体系和培养方案本土化衔接,鼓励职业技术学校与企业加强合作,共同建设
中文是联合国六种工作语言之一，也是世界上使用人数最多的语言。国际中文事业促进了中外交流合作、民心互通。二十世纪八十年代以来，我国经济、科技领域快速发展，中外经济文化交流使国际中文的价值逐渐攀升，相应的，国际中文教育体系也需要不断优化，对国际中文教材的物流与采购也提出了新的要求。
伴随着新课改的不断深入,小学语文古诗词教学越来越受到教育工作者们的重视,在小学语文统编教材的古诗词中有关景物描写的分类有春夏秋冬、山水田园、风花雨雪等,其中诗人能寄情于景并描写出我国大好河山的只有山水诗。在《义务教育语文课程标准》（2011年版）中,推荐的136篇（段）古诗词有75篇,其中山水诗有26篇,从选用篇幅数量可见山水诗的重要性。由于山水诗具有含蓄精炼、内涵丰富等特点,小学生理解山水诗并非
1840年中英鸦片战争爆发,泱泱大国清王朝竟然惨败于蕞尔岛国的“英夷”之手,签下了丧权辱国的《南京条约》,资本主义列强纷纷效尤攫取中国特权,使得近代的中国逐步沦为半殖民地半封建社会,彼时的中国人民益发陷入水深火热之中。残酷的列强入侵逼得长期处于闭关锁国环境下的国人睁眼看世界,也如晴天霹雳惊醒了并不抱残守缺而又关心祖国命运的少数爱国忧时之士和个别官员,他们开始冷静反思,寻求解决中国困境的出路。同一时