面向复杂网络系统的去中心化协作学习算法研究

来源 :山东大学 | 被引量 : 0次 | 上传用户:weibo78500
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
去中心化协作学习,通过多个参与者独立的训练学习模型,以点对点的方式在网络中进行通信以达到训练网络共享模型的目的,正在成为解决数据稀缺性问题的新趋势。同时,随着人工智能以及通信技术的发展,去中心化协作学习已经广泛的应用于多个领域,如物联网(IoT)、边缘计算、社会网络等。然而,网络系统较为复杂,去中心化协作学习算法设计面临着极大的挑战。例如,网络中的节点处于不停的变动之中,无法期待网络停止的一刻;网络规模不断增大,节点之间的通信更加频繁;网络中的节点可能发生拜占庭错误或者有恶意节点的存在;网络中带宽受限,节点之间的通信十分有限;同时,尽管在通信过程中不需要原始数据共享以及没有中央节点协调全局训练,但是节点之间的频繁通信仍然不可避免地造成隐私的泄露。因此针对复杂的网络系统,设计高效的、高鲁棒性的去中心化协作学习算法成为了亟待解决的问题。基于以上复杂网络系统模型,本文的主要贡献可以归纳为以下三方面:(1)针对存在拜占庭节点的多跳动态网络,本文设计了一种高效的分布式均匀采样算法。该算法基于Metropolis-Hastings随机游走(MHRW),通过平衡不同节点之间连通情况不一致带来的偏差,实现均匀采样。该算法仅需要轻量级的时间和通信开销,是大规模动态网络算法设计的重要工具。(2)针对强化学习任务,本文在网络中存在不完全信息甚至是伪造信息的前提下进行学习,网络中的个体需要从给定的具有未知随机质量的选项中选择一个回报最大的选项,通过个体之间的通信协作,最终选择最优选项。通过设计三阶段学习(抽样、选取、采纳)算法,有效的减少个体之间的通信,在保证与基于全信息的算法收敛性一致的前提下,保持轻量级的通信和时间复杂度。(3)针对机器学习任务,本文设计一种基于差分隐私的动态去中心化并行随机梯度下降算法(D-(DP)2SGD),该算法保护了学习过程中的数据传输。经过严谨的分析,证明了算法D-(DP)2SGD满足ε-差分隐私,同时相对于集中式学习,该算法将收敛率从O(1/(?))降低到O(1/(?))。本文提出的去中心化协作学习算法,适用于存在恶意节点、网络通信受限的大规模动态网络,并实现最优收敛速率,而且可以广泛应用于物联网、边缘计算、社会网络等领域。
其他文献
硝化过程是连接氧化态和还原态无机氮的重要过程。一百多年以来,硝化过程一直被认为是氨氧化菌和亚硝酸盐氧化菌介导的氨氧化和亚硝酸盐氧化两个过程。直到2015年发现的能够单独将氨氮经过亚硝氮氧化至硝态氮的全程硝化菌(comammox Nitrospira),打破了长久以来对硝化过程的认识。河口滨海湿地是陆海交互作用的特殊地带,环境过程复杂多变。近几十年来由于上游城市化过程加剧,面源污染排放等人类活动影响
学位
楚国卜筮之风盛行,与卜筮密切相关的楚国贞人于楚国社会中占据着较为重要的地位。他们既精通文字、擅长文书,又博通历史、谙熟旧典,对天文历法知识的掌握与运用可谓达到了精熟的程度。同时,楚国贞人阅历丰富。他们以卜筮为手段,广泛涉足楚国的政治、经济和文化各个领域,甚至与楚人的生老病死、衣食住行都有着密不可分的干系。楚国贞人的卜筮祭祷活动在望山卜筮简、天星观卜筮简、包山卜筮简、秦家嘴卜筮简和新蔡葛陵卜筮简中多
学位
工程纳米材料(ENMs)因其在物理化学方面的种种优良特性,在电子器件、医药健康、航天航空、环境保护和生物技术等各个领域得以广泛应用。纳米技术的迅速发展和广泛应用使ENMs成为环境中大量存在的一种新型污染物,这导致纳米颗粒(NPs)与环境中的其他污染物或生物个体的接触机率大大增加。在过去的十年中,人们已经对纳米材料(如碳基纳米材料,金属氧/硫化物纳米材料等)的毒性效应进行了大量研究。很多纳米材料的毒
学位
中华人民共和国成立之初,石油工业举步维艰,处于国民经济最薄弱的一环。面对工业化建设急需石油而石油产量无法满足的矛盾,大型油田的勘探与开发已刻不容缓。党和国家在油田开发建设的过程中,发挥社会主义集中力量办大事的优势,领导石油工业队伍,在分析地质资料,做好普查勘探,充分占有地下油藏资料的前提下,以“边勘探、边开发、边建设”为方针,以大会战的组织形式,部署石油资源的勘探开发。从中央到地方尽力解决石油队伍
学位
随着中国城市现代化进程的持续高速推进(2019年,中国城镇化率为60.60%,发达国家平均水平超过80%),城市给人们带来发展机遇的同时,也出现了一系列问题:精神空间方面追求权力意志、缺乏人文情怀、生活节奏快导致居民焦虑浮躁,物质空间方面形态功能趋同、缺乏地域特色。城市文化作为城市存在的基础,城市文化的现代化日益成为城市可持续发展的焦点。随着工业文明的迅猛发展,以理性、效率、进取、创新为核心的西方
学位
中国老龄化程度进一步加深,老年旅游消费对经济发展的影响不断增强。文章利用2018年“中国健康与养老追踪调查”(CHARLS)数据,采用广义线性模型Probit构建回归模型,探讨了家庭生命周期与城市老年旅游消费的关系,并从代际交互视角对影响机制进行分析。结果表明:家庭生命周期是城市老年旅游消费的重要影响因素,对城市老年旅游消费具有一定预测力。城市老年旅游消费影响因素会随着家庭生命周期变化而动态调整。
期刊
海岱地区是中国史前时期的重要区系之一,也是史前文化发展谱系最为完善的区域。龙山时期正值中国史前传统核心区域在社会各个方面发生转型的关键阶段,而海岱地区则提供了研究这一问题的重点试验场。加之,海岱龙山文化的社会发展水平在中国东部沿海地区具有明显的优越性,其在对外影响上也最为强势。因此,以海岱龙山文化为主体,研究其文化因素向周邻地区的扩散与传布,对于理解中华文明起源的“多元一体”进程大有裨益。论文首先
学位
随着人类社会历史的演变以及生产力的发展,各经济体的商品、资本、劳动力、技术等要素逐步实现在世界范围内的流动,促进了经济发展水平的不断提高。当今世界主要发达经济体的发展和新兴经济体的群体性崛起都在表明一个合乎经验事实的逻辑,即开放有利于各经济体之间生产要素的自由流动和资源的全球性优化配置,并对经济体发展形成正向推动作用。开放经济成为当今时代经济体参与全球资源合理配置、促进国民经济发展的重要发展模式。
学位
研究背景及目的乙型肝炎病毒(hepatitis B virus,HBV)感染引发乙型肝炎,与肝细胞肝癌(hepatocellular carcinoma,HCC)发生发展密切相关,有效控制HBV感染成为HCC预防和治疗的关键。尽管目前已有干扰素(interferon,IFN)、核苷类似物(nucleotide,NUC)等治疗药物,全球仍有超过2.57亿慢性乙型肝炎(Chronic hepatiti
学位
齐家文化是中华民族优秀历史文化中重要的组成部分,其在产生以及发展演变中已经具备了几千年的历史,同时在文化交融互动的过程中也呈现了更加多元化的特点。但从分期年代、地方类型、对外关系等方面来看,齐家文化在认知理解上依然存在一定的分歧,本文将齐家文化置于欧亚大背景下,重点从文化互动的角度,对齐家文化的发展演变进行分析。
期刊