基于条件梯度法的分布式在线学习算法

来源 :安徽理工大学 | 被引量 : 0次 | 上传用户:ferret
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,伴随互联网的快速发展,云计算、大数据等新兴领域不断的涌现,其结果就是数据量的爆炸式增长。海量数据处理问题已成为工程应用等行业的热点问题,事实上,许多优化算法已被相继提出,借助多个体网络从大规模数据集中提取有用信息。这种与多个体网络相结合的优化算法分为集中式算法和分布式算法。其中,分布式算法假定多个体网络中各节点无主次之分,节点间互相通信共享计算资源,有效地降低了集中式算法由于网络中心节点故障导致整个网络瘫痪的风险。已有的分布式算法通常假定多个体网络中节点数据是静态的,且要等到网络中所有节点数据都被收集后再进行数据处理,这种离线的学习方式会带来高昂的通信代价,因此研究在线学习方式下的分布式算法意义重大。本文针对多个体网络节点数据为动态流数据的问题,提出了分布式在线条件梯度算法(DOCG)和快速分布式在线条件梯度算法(Fa-DOCG)。首先,针对现有分布式在线优化算法所面临的高维约束时投影运算难以实现的问题,提出DOCG算法,目的是利用条件梯度算法无投影的特性,实现线性优化步骤对投影步骤的替代,解决高维约束带来的投影计算瓶颈问题。其次,为解决DOCG算法收敛速度慢的问题,提出Fa-DOCG算法。利用局部线性优化Oracle机制替代DOCG算法的线性优化步骤,使算法收敛速度呈指数级改善。最后,通过分析表征在线估计性能的Regret界,证明了 DOCG算法和Fa-DOCG算法分别具有 O(73/4)和O(logT)的 Regret 界。本文设计的两种算法融合正则化函数和各节点局部信息构建新的时变成本函数,从而实现对分布式网络中节点数据的实时处理,并且有效解决传统条件梯度法对梯度大小不敏感问题。最后理论上证明了两种算法的有效性,分析表明:投影运算并不影响算法的收敛,而是影响算法的收敛速度,相比之下,采用线性近似优化替代投影操作,可在一定程度上提高算法收敛速度。图[20]表[0]参[44]。
其他文献
自1985年出道至今,东野圭吾在充分吸收不同时期推理作家的创作经验的基础上,形成并开创了“写实本格派”风格。在这一风格的影响下,他所创作的一百余部推理小说不仅确立了其在日本文坛中的重要地位,更是在中国引发了热议,掀起了推理小说热潮。东野圭吾推理小说的显著特征是既有严谨缜密的推理,又有跌宕起伏的情节;既有对人性的思考,又有对社会现实的批评精神,而成就这样独特风格的根本正是东野圭吾所采用的叙事手法和叙
知识图谱的发展为知识的管理和应用提供了新的方向。在教育学领域,基于知识图谱的个性化学习研究层出不穷。而在公安教育训练领域,知识图谱的应用潜力尚有待发掘。行动指挥员处于指挥链条的最低层级,直接面对各种复杂多变的警情,对反应能力和知识技能的掌握程度要求较高,对行动指挥员能力的培养直接决定了警情的第一现场处置效果。本研究将知识图谱与公安行动指挥员的培养结合起来,并引入个性化学习这一理念,从而让行动指挥员
本文的研究对象为小学音乐教学,笔者以人民音乐出版社(以下简称“人音版”)2012年以来相继出版的小学音乐教材为例,面对“如何在知识创新视阈下,将音乐史融入在小学音乐课”这一问题,引起了笔者的较多关注,通过学习与教学实践,笔者认识到:小学音乐史教学的过程不是教师单方向的给予与填充,而是在潜移默化中,促进小学生感受到“音乐史”知识带来的情感熏陶,实现教学相长的过程。笔者通过调查法、访谈法、文献分析法等
独立、简约、创新的荷兰设计来自于荷兰尊重个体、强调学生"特征"、注重提高学生创新能力的设计教育。笔者对荷兰埃因霍温科技大学设计教育中整体性的学习评价方式进行探究,
黑龙江省双鸭山市是我国的粮食主产区和黑龙江省重要的商品粮基地,农民合作社是该地区新型农业生产经营主体的重要组成部分。随着农业经济的发展,双鸭山地区的农民合作社也在快速的发展,但由于农民合作社整体规模较小、自身管理水平有限等原因,当前黑龙江省双鸭山市农民合作社在发展的过程中存在功能实现程度不强的问题。本文立足于黑龙江省双鸭山市农民合作社发展实际,通过设计调查问卷和实地调研的方式搜集资料,构建评价指标
随着我国通信行业的快速发展,通信类公司逐渐向着施工设计的总承包以及更为专业的通信技术方向发展,这促使越来越多的公司从劳动密集型逐渐向管理或是知识密集型的方向转变,
目的 探讨腹膜透析联合血液透析对老年终末期肾病(ESRD)患者心功能的影响。方法 ESRD患者50例依据治疗方法不同分为腹膜透析组、血液透析组各16例,联合组18例。观察三组治疗前
今天是“三八”妇女节,晨间谈话的内容是“夸一夸我的妈妈”. “我的妈妈是医生!”“我的妈妈是老师!”“我的妈妈是工程师!”每个人的脸上洋溢着一种自豪感,争先恐后地发言,
目的探讨伴有周围性面瘫的Avellis综合征的临床特点,以减少临床误诊。方法分析1例伴有周围性面瘫的Avellis综合征患者临床资料并进行文献复习。结果脑桥的综合征可引起周围性
采用超景深显微镜、扫描电镜和X射线衍射仪研究了由镧、钇、镁组成的复合变质剂对含有多种合金元素的高铬白口铸铁性能和组织的影响。研究结果表明:复合变质剂对合金组织中菊