深度学习已经成为人工智能领域内的一种重要技术,并且成功应用于计算机视觉、自动驾驶、物联网、智能机器人等关键领域。在深度学习中,深度模型的训练过程是一个重要任务,该过程可以看成一个优化问题。所以,很多优化算法被应用于模型训练任务中。其中,随机梯度优化算法是一种广泛应用于深度模型训练的算法。但是随机梯度优化算法的收敛速度缓慢,为了克服这一问题,很多学习率自适应的优化算法被提出,这些自适应优化算法显著的加快了收敛速度。然而,当前日益复杂的应用环境给深度学习带来了高维、海量的数据,这使得深度模型的训练任务更加困难。因此,应用于深度模型训练的优化算法应该具有易于实现、收敛速度快、计算成本低等特点。目前,易于实现且收敛速度快的优化算法大部分是基于随机梯度的自适应优化算法。然而,这些优化算法在处理深度学习的训练任务时,存在两个导致计算成本过高的因素:1.这些优化算法每次迭代时都会计算决策变量的全坐标梯度,因此在模型训练过程中产生了高昂的计算成本;2.深度模型的训练往往是一个受限优化问题,而随机梯度自适应优化算法在处理它们时都会计算高阶的投影距离（投影算子）,所以投影算子给训练过程带来了巨大的计算成本。为了解决以上两个问题,从而减少深度模型训练的计算成本,本文将完成以下研究内容:（1）针对一种流行的自适应随机梯度算法（称为Adam算法）的全坐标梯度计算问题,提出了一种随机坐标块Adam算法,该算法利用随机坐标块方法减少了大量的计算成本。通过理论分析证明了该算法是收敛的,且具有O（?）的后悔界（其中为迭代次数,下同）,并利用在公开数据集上进行的仿真实验验证了理论分析的结果。（2）针对一种具有动态学习率的自适应随机梯度算法（称为Ada Bound算法）的全坐标梯度计算问题,提出了一种随机坐标块Ada Bound算法,该算法利用随机坐标块方法减少了每次迭代的计算成本。通过理论证明分析了该算法的收敛性,且得到其后悔界为O（?）,并通过仿真实验验证了收敛性证明的结果。（3）针对随机梯度优化算法在深度模型训练过程中产生的投影算子问题,提出了一种无投影Adam算法,该算法利用Frank-Wolfe方法将高阶的投影距离计算替换成一维线性搜索,从而避免了成本高昂的投影算子。通过理论证明分析了该算法的收敛性,且得出其后悔界为O(T^3/4),并利用公开数据集上的仿真实验验证了证明结果。（4）针对随机梯度优化算法的全坐标计算和投影算子问题,提出了一种无投影随机坐标块算法,该算法成功应用于分布式深度学习中的子模最大化问题,利用随机坐标块方法和Frank-Wolfe方法避免了决策变量的全梯度计算和投影算子,从而很大程度的减少了计算成本。通过理论分析证明了该算法的收敛性,并得出其能在有限的O（1/（?））次迭代内得到紧近似值（?）,且利用公开数据集上进行的仿真实验验证了证明结果。本文主要研究深度学习中随机梯度优化理论。针对深度模型训练过程中的高昂计算成本问题,利用随机坐标块方法和Frank-Wolfe方法避免了大量的计算成本,提出了四种不同的随机梯度自适应优化算法,且均在理论上进行了证明,并在主流的公开数据集上取得了良好性能。