链式联邦学习的通信安全与效率研究与应用

来源 :河南大学 | 被引量 : 0次 | 上传用户:zjr_1988
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近些年,联邦学习发展迅速也更广泛地运用到了我们的实际领域应用中,联邦学习中的隐私安全与通信效率问题也同样受到了更多的关注与研究。其中,链式结构和压缩技术作为联邦学习中的重要解决方案,通过结合这两种方法,可以在保证用户隐私安全的同时提高联邦学习训练中的通信效率。本文首先对联邦学习的背景和研究现状进行了有关介绍,对一些经典的隐私保护算法进行了详细地分析。针对现有隐私保护方法及通信优化方法在联邦学习中不能同时兼顾隐私性与计算复杂度,以及模型训练精确度的现象,提出了相关改进,主要工作如下:(1)传统的联邦学习隐私保护方法在训练过程中面临着梯度泄露攻击与模型中毒攻击的风险。针对以上问题,本文引入链式通信机制,使得掩蔽梯度能够在参与者之间传输。为了提高训练过程的安全性,本文提出了一种基于链式联邦学习的攻击感知模型,防止模型中毒攻击破坏训练效果。在攻击感知模型中,设计了恶意节点识别方法,该方法通过用户可信度的价值和分组划分的形式避免了模型中毒攻击。攻击感知模型通过不同用户的可信度大小进行分组划分,分别划分为恶意攻击者、嫌疑人以及普通用户。在链式训练过程中,针对当前组的训练精确度调整用户的可信度,逐渐从所有客户端中识别出恶意攻击者,并不允许攻击者再次参与后续训练。本文在CIFAR-100公共数据集上进行了实验,验证了该模型能够有效地防御模型中毒攻击导致的模型退化,提高了联邦学习整体训练过程的安全性,同时保证了联邦训练较好的训练速度。(2)传统的联邦学习框架往往存在精确度不足和通信效率低下的问题。引入链式通信结构来防御联邦学习中的隐私泄露攻击,但由于模型参数较大增加了通信代价,从而导致通信效率低下。为了有效地提高网络通信效率,提出了一种基于链式联邦学习的通信效率优化模型,又称为链式梯度压缩模型。该模型针对用户梯度参数执行梯度压缩处理,将排名为第15%的梯度绝对值设为阈值,通过设置梯度阈值对梯度参数进行剪枝,仅传输绝对值大于阈值的梯度值。在节点之间的链式传递过程中,减少所有用户节点上传的通信内容,确保了在实现联邦安全训练的同时提高网络通信效率。本文在MNIST和CIFAR-10公共数据集上分别进行了实验,证明了该模型能够有效地平衡训练过程中的隐私性与通信效率。为了评估该模型的性能,分别从梯度压缩率、隐私性与收敛性三个方面进行了分析。实验结果表明,该模型的精确度接近于对比框架,并且在通信效率方面远快于对比方案。(3)本文提出了一种联邦安全通信框架在机器翻译中的应用与实现。为了实现安全并高效的机器翻译,本文将联邦学习应用于机器翻译领域中,结合多方用户的训练模型来提高机器翻译的准确度和训练过程中的安全性。该系统结合了链式通信结构、攻击感知模型和链式梯度压缩模型。链式结构被用于保护传输的梯度信息,在防御梯度泄露攻击的同时实现和Fed-AVG相同的联邦训练效果。攻击感知模型用于在训练过程中监测模型中毒攻击,防止攻击造成的训练效果较差及模型退化,提高联邦训练过程中的安全性。链式梯度压缩模型用于压缩传输的梯度参数,减少通信内容,提高网络通信效率。
其他文献
数学核心素养的提出是新教材新高考的核心要求,并且通过教材内容体现出来,从而在教学中培养学生的数学抽象、逻辑推理、数学运算、数字分析、数学建模等能力。而大单元教学也是新教材新教法的一必然趋势,因为要适应新教材新高考。本文以高一阶段学生作为研究对象,从教学实践出发,通过对该课题进行深入调查,并结合实际情况分析了当前教学过程以及学生会出现的一些问题。在理论联系实际基础上进行教学实践;
会议
在新课改的推动下,教育理念也发生了变革,学科核心素养培养日益受到关注,并进一步明确了教育教学的目标。高中数学核心素养主要包括数学抽象、逻辑推理、数学建模、数学运算、直观想象、数据分析这六个方面,各项素养之间互为影响又相互独立,因此教师应当依托单元教学设计,加强核心素养的协同培育,促进教学改革任务高效完成。文章基于核心素养培养背景,借单元教学设计对高中数学教学进行统筹安排,力求达到最佳的教学质效。
期刊
由于天气、光照以及采像设备质量等原因,往往难以获得期望要求的图像质量,通过更换成像设备的方式会导致成本过高,且仍受环境气候等影响,而通过软件算法提高图像质量的同时也能大大降低成本。为了提高图像质量,本文从图像亮度和分辨率角度出发,提出了基于改进注意力机制的低照度图像增强算法对图像的亮度进行增强,以及基于多尺度融合卷积神经网络的图像超分辨率重建算法以提升图像的分辨率,主要研究工作和成果如下:(1)针
学位
近年来,随着遥感图像处理技术的不断发展,高光谱图像分类在环境监测、国防军事、城市规划和农林农业等方面的应用得到了广泛关注,国内与国外的科研工作者也接连不断的提出了一些优秀的分类方法。但是由于高光谱图像存在特殊的高维性、相邻波段间的强相关性和数据结构的高度非线性及训练样本少等因素,使得目前对高光谱图像的分类依然存在诸多困难。本文针对高光谱图像训练样本少仅使用光谱特征分类容易造成Hughes现象的问题
学位
共识算法作为区块链的核心,其性能直接影响区块链系统的效率。行动证明共识算法(Proof of Activity,Po A)是一种结合工作量证明和权益证明的混合式算法,具有易扩展网络结构、处理事务速度更快等优点,但也存在节点间信任缺失、代表节点离线造成区块丢弃等问题。针对以上问题,本文提出了两种改进的共识算法,并设计了可溯源学业信息监管系统的共识框架和整体架构,具体研究内容如下:(1)针对Po A算
学位
人脸图像修复和超分重建作为图像处理领域中的组成部分,在实际场景中具有重要价值。人脸识别通过采集人脸图像识别人物身份,但由于物体遮挡、光线明暗、网络通讯等因素的影响,造成人脸图像出现局部遮挡和分辨率不足等问题,从而破坏面部特征信息,影响识别的成功率。现有基于深度学习的图像修复和超分重建技术虽然取得一定进展,但仍存在修复图像模糊、重建图像出现局部失真和高频特征缺失问题。为此,本文基于GAN对人脸图像进
学位
互联网用户的不断增加引起了文本数据的大量增长,以及评论文本中用词的多样化、复杂化,单纯地依靠专家经验,或者是人工检索来处理这些海量数据显然是不可行的,因此更加智能化的自然语言处理技术对于解决这一问题就显得尤为重要。随着研究的深入,情感分析技术在文本处理中多有应用,本课题以深度学习及多任务联合学习为基础,针对细粒度情感分析存在的问题,做出以下研究:(1)针对卷积神经网络只能获取局部单词间的依赖关系,
学位
图卷积网络具有能聚合和转换节点邻域内的信息生成节点表示的能力,因此受到广泛关注。分类任务作为评测模型嵌入效果的重要标准,是图分析任务里一个重要的研究方向。由于社交网络有连接复杂、噪声较多等因素,暴露了现有的模型存在依赖图结构、局部结构被忽略等问题,导致无法得到有效的特征表示。针对这些问题,本文基于图卷积网络对节点分类与图分类方法进行研究。具体工作概括如下:(1)针对现有图卷积网络在节点分类中依赖图
学位
超分辨率重建可以从细节模糊的低分辨率图像中重建出分辨率更高且细节信息更丰富的高质量图像,在工业领域、军事领域等诸多领域中均有着很高的应用价值,因此一直是计算机视觉领域中的研究热点。单幅图像超分辨率重建通过探索图像内的自相似性进行重建,受限于图像本身有限的信息,其重建结果也受到了一定的限制,而视频超分辨率重建则可以利用更多相邻帧的信息帮助重建。但是,如何高效充分利用相邻帧间的时间及空间相关性信息进行
学位
在低性能多媒体设备和物联网系统迅速发展的今天,低计算精度环境下安全高效的图像加密技术有着很大的需求。主流的以混沌系统为支撑的图像加密方法往往不仅在速度上不尽如人意,而且在低精度计算环境下安全性无法得到保障,有些甚至无法正常运行,因此人们的需求无法得到满足。本文通过对以上问题的思考与研究,提出了不依赖于混沌系统的两种图像加密方法,一种是单张的图像加密方法,另一种是批量图像加密方法。(1)提出了一种深
学位