高阶优化算法是利用目标函数的高阶导数信息进行优化迭代的算法,即:高阶泰勒展开式Tp（x,s）=f（x）+（?）1/j!▽jf（xs）j逼近原函数,并最小化高阶泰勒展开模型求解迭代步的算法,是一个新兴的研究领域。与经典的一阶、二阶算法相比,高阶算法在寻找与低阶算法相同的解时,具有更低的迭代复杂度,但是其也需要求解一个更难解的高阶多项式子问题。对于非凸问题,高阶算法还可以求解到一个质量更好的解。非凸问题的稳定点里面除了局部最优点之外,还包括鞍点,而且鞍点数量往往会随着问题规模的增大呈现指数级增长[1-2]。人们发现在最坏的情况下,即使是在难度较小的问题中求解局部最优点的计算仍很困难[3],而且检查稳定点是否是局部最优点甚至是NP难的[4]。为了找到质量更好的解,Anandkumar和Ge[5],Cartis,Gould和Toint[6-7]研究了非凸优化问题的高阶最优性条件,满足这些条件的点被称为高阶稳定点,能够天然地排斥一些“低阶”的鞍点,从而能够帮助我们找到质量更好的解。本文提出了三种可实现的高阶算法,其中两种为可实现的求解非凸问题三阶稳定点的高阶算法,分别为:可逃离退化鞍点的自适应高阶正则化方法（AHOM算法）和可求解非凸问题三阶稳定点的信赖域方法（TRq算法）。第三种算法则是不需要高阶导数信息的自适应高阶邻近点方法（AHPPM算法）。最近,求解非凸问题的高阶稳定点的优化算法的研究方向已经吸引了越来越多学者的研究兴趣[5-8],其主要原因在于高阶算法能够排除所谓的低阶鞍点并获得质量更好的解。尽管目前求解非凸问题的高阶优化算法[5-8]已经有较多的理论发展,但由于其子问题求解困难,因此仍然缺少相应的数值实验。本文提出了一种可实现的高阶方法,称为自适应高阶方法（AHOM）,可以逃离退化鞍点（除局部最优点与严格鞍点以外的鞍点,其Hessian矩阵中包含非负非正的特征值0）找到三阶稳定点。AHOM是通过解决“更容易”的子问题并在算法的每次迭代中结合参数调整的自适应策略来实现的。本文证明了,在自适应算法的框架下,AHOM的子问题变得更容易求解,且其仍然可以保持迭代复杂度为O（max（?））。本文也为AHOM算法提供了一些初步的数值结果,以表明AHOM在实际应用中确实可以摆脱退化鞍点,然而在这些退化鞍点处二阶方法可能会卡住。此外,我们还提出了另外一种可用于求解非凸问题三阶稳定点的信赖域方法（TRq）。实际上,该方法最早由Cartis等人[6]提出,但由于其子问题当p≥3时是NP难的,因此他们至今也还没有提供一种可以求解的方法或者是可替换的条件。本文通过添加正则项将其三阶泰勒展开子问题转化为凸问题,即:用四次凸正则化泰勒模型来逼近非凸问题的三阶泰勒展开子问题,并根据该四次凸正则化模型提出了新的三阶稳定点的必要条件,从而使得寻找三阶稳定点的TRq算法是可实现的。并且我们发现本文提出的TRq算法在三阶上具有与Catis等人的[6]方法相同的迭代复杂度O（ε-4）。同时,本文也为TRq算法提供了一些初步的数值结果,并表明TRq算法可以寻找到比二阶方法质量更好的解,且其时间相对于AHOM算法也有所下降。在论文的最后一部分,我们基于Nesterov在论文[9-10]中提出高阶邻近点算法提出了求解非凸问题二阶稳定点的自适应的高阶邻近点算法,即:AHPPM算法。本文对AHPPM算法进行了理论分析,发现其可以在不使用高阶导数信息时,仍然可以达到与使用高阶信息求解非凸问题二阶稳定点的自适应高阶算法ARp[11]相同的迭代复杂度O（max（?））。此外,我们也对固定参数的高阶邻近点算法HPPM和AHPPM算法进行了数值实验,发现其相对于ARC算法可以寻找到一些质量更好的解。但不得不说明的是,从数值实验结果来看,AHPPM算法和HPPM算法的运行时间与子问题的求解方法以及参数是有很大关系的,这也将会是我们后续的一个研究内容。