基于差分隐私和安全混洗的联邦学习隐私保护研究

来源 :华东师范大学 | 被引量 : 0次 | 上传用户:yuanli1988
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
联邦学习是一种有助于解决多方计算下数据孤岛问题的学习方法,参与方无需共享本地数据,通过分布式协作训练一个高质量的全局模型。联邦学习凭借其去中心化、数据隔离、高计算性能等优势成为工业界和学术界的热门研究方向。然而,大量研究表明联邦学习机制存在许多安全漏洞,由于联邦学习的框架并没有对参与方的资质进行校验、没有对模型的访问权加以约束,也并没有考虑到对传递的参数进行保护。这些漏洞可能被内部参与者和外部攻击者所利用,破坏联邦学习系统的安全性。差分隐私是当前保护联邦学习隐私安全的主流技术,其通过严格的统计框架提供隐私保证,使得加躁后的梯度无法泄露关于实体数据的敏感信息。当前差分隐私保护联邦学习的难点在于兼顾数据隐私性和模型可用性。差分隐私的应用导致模型的准确率下降,而且随着迭代次数的增多,高维加躁梯度的聚合导致隐私损失成倍累加。如何在保证数据隐私性的同时减少模型的精度损失和通信开销是当前亟需研究的问题。本文着重研究差分隐私和安全混洗的隐私保护技术在联邦学习中的应用,结合理论分析和仿真实验,证明了方案在模型可用性、数据隐私性和通信效率三方面均达到优异的效果,为联邦学习在各个领域的技术落地提供了更强的隐私保障。本文主要的工作和贡献如下:(1)在本地差分隐私保护联邦学习的场景下,以差分隐私理论约束为隐私保证,以减小差分隐私为模型带来的可用性损失为目的,分别研究了基于梯度自适应加噪和梯度自适应裁剪方法。其中,针对梯度下降过程,提出梯度适应性裁剪和加噪方法,利用Moments Accountant机制进行隐私统计,并结合隐私攻击进行模型安全性证明。基于神经元的贡献率添加自适应噪声的方法,将贡献率作为噪声适应性分配的依据,即在贡献率较高的特征上添加更少的噪声,确保了模型更优的准确性。(2)在通信轮数较大的联邦学习模型中,由于差分隐私的组合性质,隐私损失成倍累加,导致整体的隐私成本过高。本文设计了一种新型的联邦学习安全混洗算法,结合差分隐私、稀疏向量技术,提出Top-K梯度选择方案,将本地差分隐私的开销与梯度向量的维度解耦,节省了隐私预算。此外,在联邦学习模型中引入ESA框架实现混洗差分隐私,并结合指数衰减的思想对客户端进行动态采样。通过客户端的采样和梯度的混洗达到双重的隐私放大效应,降低系统的整体隐私损失。
其他文献
鸡血藤是传统的活血化瘀类中药,具有活血补血、调经止痛、舒筋活络的功效,临床应用广泛。约有26种药用植物曾作为鸡血藤在临床使用,其所含化学成分复杂多样,主要包括黄酮、蒽醌、木脂素、三萜及挥发油等,表现出促进造血功能、抗肿瘤、抗炎、抗氧化、保肝及抗人免疫缺陷病毒(HIV)等多种药理活性。根据本草著作、文献研究和现代应用情况,分别对来自豆科和木兰科的11种鸡血藤类药材的主要化学成分和药理活性进行综述,对
期刊
在过去的20多年,人们在金属、半导体和介质等材料上利用飞秒激光诱导周期表面结构(Laser Induced Periodic Surface Structures,LIPSS),这已经成为一种有效的材料表面特性调控的方法,并开始应用于信息存储、偏振元器件、表面结构色、光吸收和发光增强等领域。本文利用红外、可见及紫外飞秒激光在掺杂氟氧化锡(Fluorine Doped Tin Oxide,FTO)薄
学位
多媒体学习作为远程学习、在线学习中学习的常见方式,辅助教师教学的重要工具,探索多媒体学习的认知机制对于深入理解和更好地利用多媒体有重要的现实意义。研究选取上海市某高校学生为实验样本,以多媒体学习的认知模型作为实验基础,通过行为数据和脑成像数据的相互印证,研究了脑成像技术视角下的多媒体学习的学习效果,以及认知负荷对学习者影响的可视化的脑成像规律。该研究首先回顾了多媒体学习和超扫描技术的研究现状,对超
学位
能源在休斯顿城市型塑过程中发挥了决定性作用。作为美国的“能源中心”,休斯顿的崛起得益于石油产业的发展;而二战后的天然气产业又催生了休斯顿城市转型的内发新动力。休斯顿天然气产业的发展源于二战期间的一场能源运输变革,这场变革始于战时石油管道项目。一方面,该管道在战后的运营革新了休斯顿的产业结构以及城市景观,但另一方面也使该地区的生态环境进一步恶化。本文主要分为三个部分:第一章追溯休斯顿成为美国石油中心
学位
随着教育信息化的推进,学校多媒体设备数量与日俱增。目前,学校使用的网络报修系统只实现了简单的报修信息收集,没有与设备管理相结合,存在重复报修、审核复杂、无法统计设备故障率等缺点,不能满足学校报修管理的需求。因此,设计和开发一个符合学校需求的报修应用系统,对学校的设备管理具有深远的现实意义和广泛的应用价值。本文以某实验学校为背景,研究了报修系统的发展与现状,发现由于各学校报修流程的差异,目前没有完全
学位
期刊
行为识别是计算机视觉领域较为火热的一个研究方向,由于现今各类互联网短视频应用的大量投放与应用,短视频已经逐渐走入了互联网经济时代的各个应用软件。那么在此基础上的视觉技术就获得了更多的应用前景。行为识别技术作为短视频中对目标视频进行自动打标并分析预测的关键技术近年来在各大计算机视觉顶会中大放异彩,但由于三维视频数据相比于二维图像数据多了时间维度从而对设备的计算和存储消耗造成了更多的压力,因此如何将现
学位
高校采用远程或在线方式进行教学的情况越来越普遍,“新冠疫情”期间,数以亿计的在线课程通过各类在线平台,以师生时时互动或异时录播课程的形式,帮助高校师生进行教与学的活动,为人们熟知。与传统线下教育资源的传播方式截然不同,在线教育资源的传播有传播快和范围广的特点。当下,对于此类远程教育资源属于何种作品,应受何种保护的讨论颇多。高校教师创作的在线教育资源,其版权是否归属于教师?在何种情况下归属于教师?关
学位
新时代教育信息化的发展推动了线上线下融合教学的实施,逐渐成为教育改革的新趋势。但是,随着信息更新速度的加快和传输方式的变化,学生在学习过程中也容易陷入碎片化学习和被动接受式学习的困境。因此,如何在线上线下融合教学中促进学生的深度学习成为本研究的重点,而互动作为教学活动的纽带,能够有效发挥在线学习环境和线下学习环境的融合作用,本研究旨在通过设计有效的互动策略促进混合环境下的深度学习。经过文献梳理与研
学位
ROS(Robot Operating System)操作系统具有松耦合、功能库丰富等优势,目前被广泛应用于工业、商业等多种不同领域的机器人开发中。随着应用领域的拓展和用户数量的增长,机器人数据可视化的需求日益复杂,而如Rviz等现有的数据可视化工具,在可扩展和跨平台等方面存在一定局限。结合应用场景和项目需求,本文设计并实现了一个面向Web的ROS机器人数据可视化系统,完成了基于网页的机器人数据可
学位