【摘 要】
：
近年来,随着云计算、大数据、人工智能等新兴技术的蓬勃发展,分布式优化在大规模计算、机器学习等领域得到了广泛应用。分布式优化旨在利用网络化多自主体之间的协作来最小化整个网络中局部目标函数之和,目前主要采用分布式梯度法及其加速变形等基于梯度的方法来求解这类问题。然而,基于梯度的加速分布式优化算法存在收敛速度慢的现象。一方面,当目标函数为光滑强凸函数时,现有加速算法的步长严格依赖于目标函数条件数,使得步
论文部分内容阅读
近年来,随着云计算、大数据、人工智能等新兴技术的蓬勃发展,分布式优化在大规模计算、机器学习等领域得到了广泛应用。分布式优化旨在利用网络化多自主体之间的协作来最小化整个网络中局部目标函数之和,目前主要采用分布式梯度法及其加速变形等基于梯度的方法来求解这类问题。然而,基于梯度的加速分布式优化算法存在收敛速度慢的现象。一方面,当目标函数为光滑强凸函数时,现有加速算法的步长严格依赖于目标函数条件数,使得步长充分小时才能保证算法收敛,而算法收敛速度与步长正相关,从而导致了算法收敛速度较慢。另一方面,当目标函数为光滑凸函数时,现有加速算法最优收敛速度为1/1.4（k是迭代次数）,低于同条件下集中式Nesterov’s加速算法的最优收敛速度1/~2。本文针对上述小步长、理论收敛速度局限性导致算法收敛速度慢的问题展开深入研究,主要工作如下:针对小步长导致加速算法收敛速度慢的问题,由于回归问题中通常使用均方误差来衡量模型的好坏,因此考虑目标函数为二次函数时的分布式优化问题,提出了隐式Euler加速分布式优化算法。基于现有加速分布式优化算法,通过计算其步长趋于零时的极限得到一个二阶线性常微分方程,利用隐式Euler方法对微分方程离散化,由此提出了加速分布式优化算法Im-DGD并证明了其收敛性。由理论分析可知算法Im-DGD的步长与χ无关,并且是原算法步长的近χ倍,其中χ＞1是目标函数条件数。实验结果表明,所提出的算法Im-DGD在二次函数情形下实现了较原算法更快的收敛速度。由于分类问题中通常使用对数函数、指数函数等作为损失函数,因此进一步考虑目标函数为一般非线性函数时小步长导致算法收敛速度慢的问题,提出了辛格式加速分布式优化算法。基于现有加速分布式优化算法,通过计算其步长趋于零时的极限得到一个二阶非线性常微分方程,利用显-隐式方法对微分方程进行离散化,由此提出了加速分布式优化算法Sym-DGD并证明了其收敛性。由理论分析可得算法Sym-DGD的步长与χ无关,并且是原算法步长的近χ倍。实验结果表明,所提出的算法Sym-DGD在一般非线性函数情形下实现了较原算法更快的收敛速度。针对现有加速算法具有最优收敛速度为1/1.4的自身局限性,考虑目标函数为光滑凸函数情形,提出了一种具有最优收敛速度的校正加速分布式优化算法。通过矩阵诱导范数定义距离生成函数,运用变分法得到一个二阶常微分方程,在微分方程离散化时引入辅助序列,由此提出了校正加速分布式优化算法Co Acc-DGD并证明了其收敛性。实验结果表明,所提出的算法实现了基于梯度方法的理论最优收敛速度1/~2。机器学习中常通过在损失函数中添加L2正则项以降低模型复杂度,使得光滑凸的损失函数具备了强凸特性,因此进一步考虑目标函数为光滑强凸函数情形,提出了具有高阶收敛速度的隐式Runge-Kutta加速分布式优化算法。通过变分法得到分布式二阶常微分方程,利用A-稳定的Runge-Kutta方法对微分方程离散化,由此提出了加速分布式优化算法D-Im RK并证明了其高阶收敛性。实验结果表明,所提出的算法D-Im RK实现了更快的高阶收敛速度。综上所述,针对算法中关于步长的严格约束和理论收敛速度局限性导致算法收敛速度慢的科学问题,本文提出了加速算法Im-DGD和Sym-DGD,克服了小步长导致的算法收敛速度慢的问题;提出了具有最优收敛速度1/~2的加速算法Co Acc-DGD和更快的高阶收敛算法D-Im RK,克服了算法理论收敛速度局限性导致的算法收敛速度慢的问题。取得分布式优化算法加速收敛速度的效果,在大规模计算、机器学习等领域有良好的应用前景。
其他文献
移动边缘计算（MEC,Mobile Edge Computing）将云计算的功能扩展到更靠近用户的地方,减少延时与能耗。边缘缓存技术在边缘节点预先缓存用户所需计算资源,减少在本地执行计算任务。然而,边缘节点的存储空间、通信资源、存储的资源有限,需要对这些资源进行合理分配。此外,缓存优化方案解决的是存储空间有限的问题,但是,缓存优化方案不直接影响通信资源分配方案的效率。目前,研究者们提出了各种缓存优
赋予超分子凝胶荧光性能可拓展超分子凝胶的应用范围,发展高效便捷构筑荧光超分子凝胶的方法具有重要意义。与传统的荧光传感材料相比,基于荧光超分子凝胶的传感材料具有更丰富的分析物识别方式和更多样的物质传感形态。因此,基于荧光超分子凝胶的传感体系引起了广泛关注,尤其是可用于多目标分析物识别的荧光超分子凝胶体系。但目前荧光超分子凝胶仍存在凝胶因子合成繁琐、凝胶构筑复杂、荧光信号单一、区分待测物能力有限等问题
近年来,荧光探针已经成为现代科学（材料化学,分析和环境化学,生物化学,）及医学领域（临床诊断,生物技术,分子生物学）中不可或缺的工具。基于荧光成像技术的研究方法是一种可以实现病程中相应待测物的细微变化的示踪方法,同时它还具有非侵入式,可原位检测、可视化和高时空分辨率等优点。有机荧光染料作为有机功能材料广泛应用于化学、物理、生物学、环境科学和医学等各种领域,而开发设计性能优良的荧光染料在电致发光材料
当前，很多企业从全面成本管理视角出发，对企业成本控制进行合理优化，以确保企业战略目标的实现和可持续发展。论文对基于全面成本管理视角的企业成本控制优化进行探讨，分析我国企业成本控制存在的问题和原因，进而从强化企业职工的成本控制意识、引入先进的现代化成本控制方法和模式、建立完善的企业成本控制监督机制和激励体系、结合实际情况制定专业规范的企业成本控制方案、注重企业成本控制考评制度的科学合理性等方面提出优
近年来,随着四足机器人应用需求的增加,人们对四足机器人复杂地形下的地面适应能力和运动效率提出了更高要求。四足机器人主要依靠虚拟弹簧腿的周期性摆动和离散落足点的间歇性支撑来实现其运动,其腿部和地面的刚度特性是影响机器人腿部动力学特性和机器人足-地交互行为的关键因素,对四足机器人复杂地形下的整体运动性能起着决定性作用。将机器人和地面作为有机整体进行系统分析,研究地面特性和运动参数变化时机器人腿部刚度变
运动序列的编码对行为的产生是非常重要的,可促进行为的有效性和灵活性。在记忆或决策过程中,海马和运动皮层的神经元活动序列已被证实。然而,编码本能行为比如捕食的运动序列的神经机制仍不清楚。捕食是一种公认的本能行为,具有特定的连续行为动作,包括猎物搜索、追逐、攻击和消化,在实验室环境中很容易诱发。捕食行为既灵活,又刻板,非常适合解决神经机制如何驱动行为的问题。外侧导水管周围灰质（the lateral
为应对严峻的全球气候变暖问题,碳减排势在必行。在构建以新能源为主体的新型电力系统背景下,低碳、灵活燃煤发电是国家的重大需求。富氧燃烧、超临界CO2循环燃煤发电技术是极具应用潜力的关键技术,这些新型燃烧方式的反应气氛中CO2和H2O浓度与传统空气燃烧气氛明显不同,极大影响了煤的热解、燃烧过程。研究CO2/H2O对煤热解、燃烧的影响机理,对扩展煤燃烧基础理论、指导新型燃煤技术应用具有重要意义。首先,设
在信息过载的时代,个性化推荐（Personalized Recommendation）已成为众多移动互联网应用中的必要组成部分。个性化推荐旨在从大量信息中筛选出用户最可能感兴趣的内容,为用户提供便捷准确的信息获取途径。个性化推荐的核心思想是利用用户历史行为以及物品属性内容等多种信息建模准确的用户画像,并根据用户画像为其匹配最可能喜欢的物品。随着用户历史交互信息以及物品属性内容的不断增加,多种实体之
随着光刻技术、纳米压印等微纳加工技术的不断进步和半导体技术节点的持续下降,微纳结构尤其是纳米结构,凭借其灵活的设计布局和对器件优异的性能调控,已在集成电路（IC）等领域有广泛的应用。而在大批量IC制造过程中,由于不可避免地存在工艺参数偏差或者环境中引入的污染,需要对加工的纳米结构图形进行快速、准确、非破坏的量测,以保证最终产品的性能和良率。对纳米结构的量测需求包含两个方面,一是对其形貌尺寸参数进行