论文部分内容阅读
最优化(Optimization),就是在复杂环境中遇到的许多可能的决策中,挑选“最好”决策的科学。在本世纪30年代末,由于军事和工业生产发展的需要,提出了一些不能用古典微分法和变分法解决的问题。在许多学者和专家的共同努力下,逐渐产生、发展和形成了一些新的方法,即最优化方法。它是一门应用十分广泛的学科,随着计算机的日趋发展,以及工程设计,系统识别,管理科学等方面的不断深入,最优化的应用越来越广泛。本文将探讨用Lanczos路径方法解非线性最优化问题。
Lanczos方法,是用来求解对称方程组Ax=b的解,将对称矩阵A进行三对角化然后再利用回代技术求出方程的解。它也可以用来解特定的大规模稀疏对称特征值问题Ax=λx。该方法涉及到给定的矩阵A进行局部三对角化。重要的是,在算法过程中不会有满的子矩阵产生,同样重要的是,A的两端的特征值的信息在三对角化完成之前早得多就已经出现。
共轭梯度法是最优化中常用的方法之一,由于具有算法简便,只需要一阶信息,易于编程,以及需要存储空间小等优点,共轭梯度法已经成为求解大规模问题的一种主要方法。Bulteau和Vial在[7]中构造了无约束最优化问题的共轭梯度路径,其基本思想是将标准共轭方向法应用于无约束优化目标函数.厂的局部二次近似函数,得到一组共轭方向序列。共轭梯度路径定义为该共轭方向序列的线性组合,获得了共轭梯度路径的一些重要性质。可以证明当共轭梯度路径中的参数趋向于无穷时,产生的搜索方向即为牛顿步或者拟牛顿步,以导致算法局部超线性收敛的一个重要依据。
Lanczos方法和共轭梯度路径法的思想启迪我们,如果将二者相结合,构造一条新的路径,使得这条路径既具有Lanczos向量的性质,又具有共轭向量的性质。最优化问题的近似二次模型应用Lanczos方法过程中同时应用共轭梯度法,即对问题三对角化的同时也计算出了共轭方向序列,这样可以得到Lanczos方向序列和共轭方向序列,由此生成一条新的路径,称为Lanczos路径。此路径有类似于共轭梯度路径的一些重要性质,在合理的假设下,证明了此算法具有整体收敛性和局部超线性收敛速率。数值实验,表明Lanczos路径法对于解大型稀疏优化问题有更显著的收敛速率。
本文共分为四章。第一章简单地介绍了无约束优化,约束优化的一些基本概念;Lanczos法,共轭梯度法及信赖域方法等内容。第二章用Lanczos路径法求解线性等式约束最优化问题,通过构造原问题的零空间,将Lanczos法和共轭梯度法相结合应用于零空间中的近似二次模型,构造了Lanczos路径,利用线性搜索技术得到接受步长,证明了算法既具有整体收敛性又保持了局部超线性收敛速率。在本章最后给出了部分题目的数值结果。第三章中给出了有界变量约束优化问题的非单调预处理Lanczos路径算法,先构造预处理Lanczos路径,沿这条路径获得搜索迭代方向,利用非单调回代技术得到可接受的步长因子,从而获得新的有足够下降的迭代点。非单调能克服高度非线性化函数的最优化问题。在本章最后给出了数值结果,表明所提供的算法有效性。最后一章,对本文的工作进行总结,并提出进一步的研究方向。