人工智能的快速发展,离不开背后的数学基础研究。机器学习是人工智能研究的重点,机器学习可以归结为对数据集拟合的优化问题,该问题具有高维、非凸的特点。一方面,在高维情形下,计算目标函数的二阶导数Hessian矩阵将变得困难;另一方面,在非凸情形下,鞍点给算法以局部极小的假象,其数量也会随维数的增加呈指数式上升。因此,如何快速地识别并避开鞍点,成为当前高维非凸优化领域研究的热点。随机梯度下降（SGD）是机器学习优化领域的一个基础性算法,本文中讨论的算法都是在该算法基础上的改进。扰动梯度下降（PGD）算法对鞍点附近迭代点的梯度加入扰动,使得迭代可以避开鞍点。将SGD和PGD算法融合,在SGD算法的迭代格式中加入梯度扰动项,就是本文中的扰动随机梯度下降（PSGD）算法,该算法的迭代复杂度为O(ε^-4d),具有快速迭代和避开鞍点的优点。立方正则化（CR）算法可以解决牛顿法中Hessian矩阵退化为奇异矩阵,以及收敛至鞍点的问题,但该算法需要计算Hessian矩阵。将CR与SGD算法融合,使用随机梯度和随机Hessian来求解CR算法的子问题,就是本文中的随机立方正则化（SCR）算法。该算法无需显式地计算Hessian矩阵,只需计算相应的Hessian-vector积,算法的迭代复杂度为O(ε^-3.5)。开源数据集a9a上的逻辑回归模型是一个高维非凸优化问题,利用上述算法对该问题进行数值实验,由实验结果知:SGD算法可能会卡在鞍点处无法继续下降;PSGD算法因为使用了梯度扰动,可以避开鞍点继续下降;相比前两个算法,SCR算法借助了Hessian矩阵信息（通过Hessian-vector积获取）,所以能更早地识别并避开鞍点,因此需要更少的迭代次数,有更快的收敛速度。