基于模型聚合的分布式拜占庭鲁棒优化算法研究

来源 :中国科学技术大学 | 被引量 : 0次 | 上传用户:yangtt00
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
机器学习算法离不开数据。随着数据的爆炸式增长,单台机器无法分析如此大规模的数据。同时,在某些场景中,数据本身分布式地存储在不同的设备中,由于隐私问题,无法将这类数据收集到某个设备集中处理。基于上述原因,许多学者提出了分布式机器学习算法。在这些算法中,数据可以分布在多台机器中,这些机器可以通过某种方式实现信息的交换,从而可以协同合作地学习一个更加强大有效的模型。传统的分布式机器学习假设每个计算节点都是可靠的,然而在实际应用问题中并非如此。一些计算节点可能因为遭到了恶意攻击或篡改,或者因为机器本身的故障或数据错误,会发送错误信息给中心节点,从而导致模型训练失败。相关研究把这些发送错误信息给中心节点的计算节点称为拜占庭节点,存在拜占庭节点的分布式计算模型称为拜占庭错误模型。本文主要研究在拜占庭错误模型下的分布式的鲁棒优化算法。在master-worker结构中,假设一部分计算节点是拜占庭节点。在训练模型的过程中,由于数据损坏、通信错误或者恶意攻击,拜占庭节点在每次通信会发送任意的错误信息给中心节点,从而破坏模型的协同训练。针对机器学习领域常见的随机优化问题,本文提出了一种能够抵抗拜占庭攻击的鲁棒的随机次梯度方法。本文所提出的算法的关键点是在目标函数上添加了范数正则项,使得新的目标函数是鲁棒的,从而使得在模型协同训练过程中可以减轻拜占庭攻击对模型求解过程的影响。本文提出的拜占庭鲁棒的随机次梯度算法简称为RSA。与目前的大多数拜占庭鲁棒算法相比,RSA不需要依赖于计算节点的数据独立同分布的假设,因此,RSA更加适用于实际应用问题。理论上,本文证明了:·RSA可以次线性地收敛到最优解的附近,与最优解的误差取决于错误节点的数目;·RSA的收敛速度与在没有错误节点时的随机梯度下降算法SGD(stochastic gradient descent)的收敛速度相同。在数值实验上,本文在真实的数据集MNIST上做了详细的实验验证,证明了RSA算法的有效性。同时,实验结果证明了 RSA要优于目前主流的拜占庭鲁棒优化算法,目前主流的拜占庭鲁棒优化算法包括Geometric median,Krum和Median。
其他文献
<正>记者:请您谈谈近年来特别是过去一年浙江省残疾人事业取得的重大突破。陈加元:近年来,特别是2009年以来,在党中央、国务院的正确领导下,在中国残联的关心指导下,浙江残疾
认真分析目前石油企业所面临的环境因素,尤其是对石油企业生产经营具有重要影响的油区环境问题并采取措施加以解决,对于石油企业的稳定发展和国家石油安全具有重要的现实意义
船舶普遍采用大型低速二冲程柴油机作为主推进动力装置,所排放的废气中含有大量的氮氧化物(NOx),对环境造成了严重污染。为应对日益严格的船舶NOx限排法规,人们积极研究各类
在黑天鹅事件频发的背景下,规避风险便是投资者最关注的问题。对于二级市场的投资而言,风险资产与无风险资产仓位比例的控制是重点。对于A股市场的中观层面来说,仓位就是各行
非正式组织在企业内部的存在是一种客观的真实,它是一种建立在非正式契约基础上的松散的组织,也是一种人际交往关系系统.非正式组织对企业和谐劳动关系建设的影响是双重的,既
有关抗肝纤维化药物治疗问题是当前研究的重要课题.为了验证丹参治疗慢性肝炎肝纤维化的有效性,本文于1998年1月至1999年1月采用丹参注射液对96例慢性肝炎肝纤维化进行观察治
一场学习浙江经验的热潮正在赣鄱大地兴起。为了深入学习贯彻省委、省政府《关于学习浙江经验,在新的起点上推动经济社会又好又快发展的意见》精神,省委教育工委、省教育厅机
目的评价防治骨质疏松症大鼠模型药物疗效的各项指标.方法采用卵巢切除术建立骨质疏松症预防和治疗大鼠模型,分别灌喂阿仑膦酸钠和埃本膦酸钠,持续处理6个月.以骨密度、骨生