交替方向乘子法的安德森加速及其应用

来源 :中国科学技术大学 | 被引量 : 0次 | 上传用户:suzhouxyz
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
许多工程应用问题都可以归结于优化问题,即给定目标函数和约束求解最小值.近年以来,随着科技的发展,一方面工程中所需要处理的数据量越来越大,从而要解决的优化问题的规模也越来越大,大规模优化的算法受到了更多的关注.另一方面,随着问题的复杂程度增大,在一些情况下目标函数是非凸并且非光滑的,这使得很多传统的基于梯度的优化方法失效.交替方向乘子法(ADMM)正是这样一种适用于大规模优化和非凸非光滑优化的一种算法.当目标函数可以分离成两个关于不同变量的函数之和,并且这两个变量之间有一个线性约束时,ADMM交替优化这两个变量以及对偶变量.一般来说,优化单个函数会显著比优化两个函数之和简单,实践中经常可以得到解析解或者能够并行优化.这些特点使得ADMM每一步的迭代代价非常低,从而适用于大规模优化.在整个优化过程中,ADMM并不需要这两个函数的梯度,取而代之的是两个函数的逼近映射(Proximal Mapping).而对于很多函数而言,逼近映射计算代价很低,这也使得ADMM非常适用于非凸非光滑优化的情况.尽管ADMM已经在工程中得到了广泛应用,研究者发现它有一个明显的缺点.ADMM通常可以以很快的速度得到一个低精度的解,但是需要较多的迭代次数以收敛到高精度的解.而在一些应用中,对精度的要求非常高,这促使研究者开始思考对ADMM的加速方法.然而现有的大部分加速方法只能适用于凸的ADMM问题,这限制了这些方法的使用范围.安德森加速(Anderson Acceleration)是一种用于加速固定点迭代的算法,近年以来,由于安德森加速的实现简单,数值效果好,在工程中已经得到了非常广泛的应用.本文详细地讨论了如何将安德森加速应用.最关键的部分在于将ADMM表达成固定点迭代.本文分成两个部分.第一部分中,我们直接从ADMM本身出发,考察了 ADMM在一般情况下的固定点迭代格式,然后对于一些特殊情形给出了维度更低的固定点迭代格式.之后我们将安德森加速应用到ADMM的固定点迭代格式上.同时注意到为了保证加速算法收敛,我们首先需要保证ADMM的收敛性.现有的非凸ADMM收敛性证明需要一些强假设,而这些假设并不能被一些实际应用问题满足.本文对这些问题的结构做了细致性的分析,得到了新的收敛性证明.第二部分中我们利用了 ADMM和Douglas-Rachford(DR)分裂算法的等价性,通过考察DR分裂算法的固定点迭代格式,对一般的可分离的ADMM问题,我们将ADMM中被加速变量的维度降低到和对偶变量维度一致,然后对等价的DR分裂算法使用安德森加速.最后,利用DR envelope,我们也给出了加速算法的收敛性证明.
其他文献
纳米金属氧化物在催化中有广泛的应用,其表面结构,特别是其暴露晶面和氧空位等缺陷是催化性能的关键,因此科研工作者致力于利用各种方法从原子尺度探索其表面结构,试图理解构
长度是七个物理学常量之一,同时长度信息也是机械几何量测量领域内最基本、最核心的测量量。不仅在大尺度的空间定位系统(如地球GPS、北斗卫星),而且在工业制造所需的三维坐标
随着我国油气藏勘探开发的不断深入,缝洞型碳酸盐岩油气藏由于其丰富的油气资源,已然占据了油气藏开发领域的主导地位。目前对于缝洞型碳酸盐岩储层多采用酸压的增产措施,并
石墨烯作为一种最近几年新兴起的材料,在理想状态下,石墨烯是只有一个原子层的二维材料,是由碳原子规则排列成正六边形的晶格构成的。自从2004年首次人工剥离制备出以来,其表
模糊数学自从Zadeh发表的论文“Fuzzy Set”中首次提出模糊集的概念后得到了迅速的发展,现在已经形成一个独立的数学分支,在人工智能、优化控制、概率统计、经济学等众多领域
微生物发酵过程中组分异常复杂,物化和生化反应混合交叠,一般发酵过程模型简化了复杂的反应机制,缺乏对细胞微观信息的描述。随着基因工程、细胞工程的发展,结合日益完善的基
本论文主要包括以下两部分内容:第一部分:分子内串联环化构建氮杂多环骨架石松碱是存在于石松科蕨类植物石松和其近缘石杉科植物中的一类生物碱,功能显著。石松生物碱的基本
近年来,恶性肿瘤发病率和死亡的数量逐年增加,已成为威胁人类生命和健康的头号杀手。同时,由于耐药性的增加和单一治疗的局限性,传统的癌症治疗方法很难取得令人满意的效果。
根据美国对页岩气开采的经验可知,页岩气在我国若要实现大规模开采,对开采页岩气的先进技术的研究是不可或缺的。根据实验结果表明,页岩的孔隙度和渗透率极低,难以开采,因此
高铁桥梁支座是支撑桥体并将作用力传于桥墩的结构件,目前常用的表面处理方式有球面涂装、包覆镜面不锈钢、镀铬,但这些技术均有一定不足。化学镀镍层硬度高、耐蚀性优异,将