论文部分内容阅读
许多工程应用问题都可以归结于优化问题,即给定目标函数和约束求解最小值.近年以来,随着科技的发展,一方面工程中所需要处理的数据量越来越大,从而要解决的优化问题的规模也越来越大,大规模优化的算法受到了更多的关注.另一方面,随着问题的复杂程度增大,在一些情况下目标函数是非凸并且非光滑的,这使得很多传统的基于梯度的优化方法失效.交替方向乘子法(ADMM)正是这样一种适用于大规模优化和非凸非光滑优化的一种算法.当目标函数可以分离成两个关于不同变量的函数之和,并且这两个变量之间有一个线性约束时,ADMM交替优化这两个变量以及对偶变量.一般来说,优化单个函数会显著比优化两个函数之和简单,实践中经常可以得到解析解或者能够并行优化.这些特点使得ADMM每一步的迭代代价非常低,从而适用于大规模优化.在整个优化过程中,ADMM并不需要这两个函数的梯度,取而代之的是两个函数的逼近映射(Proximal Mapping).而对于很多函数而言,逼近映射计算代价很低,这也使得ADMM非常适用于非凸非光滑优化的情况.尽管ADMM已经在工程中得到了广泛应用,研究者发现它有一个明显的缺点.ADMM通常可以以很快的速度得到一个低精度的解,但是需要较多的迭代次数以收敛到高精度的解.而在一些应用中,对精度的要求非常高,这促使研究者开始思考对ADMM的加速方法.然而现有的大部分加速方法只能适用于凸的ADMM问题,这限制了这些方法的使用范围.安德森加速(Anderson Acceleration)是一种用于加速固定点迭代的算法,近年以来,由于安德森加速的实现简单,数值效果好,在工程中已经得到了非常广泛的应用.本文详细地讨论了如何将安德森加速应用.最关键的部分在于将ADMM表达成固定点迭代.本文分成两个部分.第一部分中,我们直接从ADMM本身出发,考察了 ADMM在一般情况下的固定点迭代格式,然后对于一些特殊情形给出了维度更低的固定点迭代格式.之后我们将安德森加速应用到ADMM的固定点迭代格式上.同时注意到为了保证加速算法收敛,我们首先需要保证ADMM的收敛性.现有的非凸ADMM收敛性证明需要一些强假设,而这些假设并不能被一些实际应用问题满足.本文对这些问题的结构做了细致性的分析,得到了新的收敛性证明.第二部分中我们利用了 ADMM和Douglas-Rachford(DR)分裂算法的等价性,通过考察DR分裂算法的固定点迭代格式,对一般的可分离的ADMM问题,我们将ADMM中被加速变量的维度降低到和对偶变量维度一致,然后对等价的DR分裂算法使用安德森加速.最后,利用DR envelope,我们也给出了加速算法的收敛性证明.