联邦学习中模型参数量化方法研究

来源 :山东大学 | 被引量 : 0次 | 上传用户:suiye001
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在第五代移动通信和物联网等技术的推动下,边缘计算飞速发展,传统基于云中心的人工智能网络架构出现了本地化的演进趋势。联邦学习作为网联人工智能的新范例,在协同训练和保护隐私等方面具备独特的优势。在联邦学习系统中,全局模型参数的更新依赖于云服务器与边缘节点间频繁的模型信息交互,这将给系统带来大量额外的通信开销和训练时延,已经成为了限制系统性能的关键问题。当前,通过压缩节点模型参数信息以减少节点间的通信开销是缓解节点间信息传输压力并降低联邦学习训练时延的重要方法之一。基于此,本论文重点研究了通信资源受限场景中联邦学习的模型参数压缩问题,首先在给定总通信开销的条件下,研究了基于模型参数分布特性的量化方案;在此基础上,进一步讨论了该方案中量化比特数这一超参数的影响,研究了基于深度强化学习的量化比特数选择策略。本文中的主要贡献和创新点归纳如下:1)针对联邦学习场景下的模型参数压缩问题,以最大化通信资源的利用效率为目标,利用联邦平均聚合方式,结合非均匀量化与哈夫曼编码,提出了基于模型参数分布特性的量化方案。首先,根据模型参数在系统训练过程中的动态分布特性,建立了最小化均方量化误差的优化问题。然后,利用Lloyd-Max迭代算法求解该优化问题以得到非均匀量化方案,并使用哈夫曼编码最小化平均码长。最后,从理论上证明了所提方案能保证全局模型参数的平均梯度范数以(?)的速度收敛,其中T为训练周期总数。同时,在MNIST数据集和Cifar-10数据集上进行了仿真测试,结果表明相较于基准方案,所提方案分别将模型的测试准确率提升了 12%和18%。2)在工作1)中,量化比特数的取值会影响联邦学习训练的总轮数和每轮次的训练效果,进而影响最终模型的测试准确率。针对这一问题,本工作以最大化最终模型测试准确率为目标,提出了基于深度强化学习的量化比特数选择策略。首先,将全局时间尺度下量化比特数的选择建模为一个马尔科夫决策过程。然后,利用深度Q网络算法对智能体进行训练,训练完成的智能体可以自适应地调整量化比特数的取值。仿真结果表明,相较于基准方案,所提策略可实现最优的全局模型测试准确率。
其他文献
铝合金加筋板结构作为航天器大型密封舱的主要组成结构,在轨运行时空间碎片撞击航天器舱壁会造成结构损伤,从而改变舱壁性能,影响航天器安全稳定运行,严重时可能导致关键部件失效甚至解体爆炸,会对航天员的生命安全造成巨大威胁。因此需要对航天器铝合金加筋板结构进行实时状态监测和损伤识别,及时掌握撞击发生位置和损伤程度,针对不同损伤程度快速制定防护和维修措施,避免发生重大事故。为此,开展了航天器铝合金加筋板结构
学位
阿尔茨海默病(Alzheimer’s disease,AD)是最常见的神经系统退行性疾病,在世界范围内具有高发病率、高致死率的特点。由于缺乏有效的治疗手段,寻找客观的、准确的、无创的检测方法是提升AD早期筛查准确率、促进AD早期干预水平、延缓AD疾病进程的重要途径。现有的AD检测方法在敏感度、特异性、客观性、便捷性等方面仍有不足,不能满足AD患者早期筛查和长期检查的需要。因此,寻找新的AD检测评估
学位
声发射检测技术具有对线性缺陷较为敏感对几何形状不敏感并且能够适用于其他检测方法难以应用的严苛环境中的特点,在石油化工、航天航空和交通运输等工业领域中获得广泛应用。声发射数据采集系统设计是声发射检测技术的基础和前提,在整个声发射检测技术中的地位举足轻重。本文设计了基于ZYNQ双通道声发射采集系统,完成了基于ZYNQ的声发射采集板卡的设计,基于Qt的上位机软件的设计,并设计了实验验证了采集系统的各项功
学位
铝合金板结构是航空航天装备制造领域广泛应用的典型结构,具有材质轻、比强度高、耐腐蚀、加工和成型好的优点。然而,铝合金板结构在服役过程中,由于受到长期交变载荷和异物冲击的影响,结构容易发生变形甚至失效,严重影响了航空航天器的安全性和使用寿命,因此,实时监测板状结构的形状变化并及时做出应对具有重要意义。光纤光栅(FBG)传感器具有体积小、重量轻、耐腐蚀和可构建准分布式传感网络的优点,已成为结构健康监测
学位
随着科技的发展和政策的推进,纯电动汽车(BEVs)、插电式混合动力汽车(PHEVs)等新能源汽车日益增多,其是否可以快速高性能地充电,成为摆在其替代传统燃油汽车道路上的一道难题。针对车载充电器目前主要存在的充电时间长、续航里程短、电池寿命短、车内所占体积大等问题,本文提出了一种电动汽车用交流调磁永磁同步电机(PMSM)的驱动/充电一体化拓扑结构,采用了具有径轴向定子结构的交流调磁PMSM以及蓄电池
学位
新能源的大规模接入使电力系统的电力电子化程度日益加深,现代电力系统形态变化引发电力信号形态随之改变,对电力系统的实时监测能力提出了更高的要求。相量作为可以反映电力系统运行状态的电气量,是进行有效保护和控制的前提,但故障电流信号中往往含有衰减直流分量(Decaying DC Component,DDC),其非周期性使得目前广泛应用的基于离散傅里叶变换(Discrete Fourier Transfo
学位
可再生能源的随机性和用能需求的多样性给电力系统的安全经济运行带来挑战,而将多种能源协同运行可以提高系统应对不确定性问题的能力。因此,能有效提高能源利用效率和可再生能源消纳能力的综合能源系统必将成为未来主流能源供应方式之一。如何通过不同能源之间的相互作用提供更大的灵活性,并有效应对系统运行中存在的多种不确定因素,是综合能源系统面临的重要问题。因此,本文聚焦于通过多种灵活性元件耦合的电力系统、热力系统
学位
油中溶解气体分析(Dissolved Gas Analysis,DGA)被证明是世界范围内诊断油浸式电力变压器内部故障的有效手段,可灵敏识别内部放电及过热异常。油中溶解气体在线分析装置的全面推广使得以统计理论为基础、以数据驱动为核心的变压器智能诊断方法逐渐成为研究热点。大量研究表明,在同一数据集下相较于传统基于领域经验知识的规则法,智能诊断方法能获得更高的诊断准确率。但纯数据驱动的智能诊断算法采用
学位
清洁能源的大规模集中开发与分布式开发并举是助推“双碳”目标实现的重要举措,分布式电源就近接入配电网,使传统单电源径向配电网转变为多电源供电的有源配电网。以太阳能、风能为代表的分布式电源的出力具有波动性和间歇性,导致有源配电网的潮流方向与故障电流特征具有不确定性。此外,通过电力电子器件并网的逆变型分布式电源受到多种控制策略影响,故障特性更为特殊。随着配电网中分布式电源渗透率的进一步提高,传统配电网的
学位
随着科技飞速发展,各种电力电子整流装置广泛应用,谐波所造成的危害越发严重。特别是近年来随着电动汽车相关产业的飞速发展,其保有量不断提高,充电装置应用愈发广泛。车载充电器体积较小易于携带,可缓解电动汽车充电设施不足带来的困难,为减少谐波所造成的危害,充电器中都带有功率因数校正装置。本文以一种基于非对称双有源桥的单级式变换器为研究对象,分析其工作原理和控制方法实现功率因数校正,可应用于车载充电器等整流
学位