深度学习是一种由多层神经网络组成的高度非线性模型,它能够在大规模数据集上表现出非常强的表达能力。自适应算法例如Ada Grad、RMSProp、Adam等通过自动调整每个参数的学习率已经在多个任务上表现出了非常快的训练速度,成为了当前深度学习主流的优化方法。但自适应算法如Adam的学习率是不稳定的,这导致了在测试集上的泛化性往往不如随机梯度下降法（SGD）,甚至在某些情况下无法收敛。因此一些新的算法如AMSGrad被提出来以期望解决这个问题,但这些新的改进和算法并没有在现有的优化方法上取得令人满意的提升。针对学习率不稳定的问题,本文提出使用自适应摩擦系数来抑制学习率的震荡,并由此分别得到了Adam和AMSGrad的改进版本,称为TAdam和TAMSGrad。以TAdam算法为例,在理论上本文首先利用在线学习框架证明了当目标函数为凸函数时TAdam在训练集上的收敛速度和Adam一样快,接着证明了在随机非凸优化的情况下,TAdam的收敛效率接近SGD。最后本文设计了自然语言处理和计算机视觉两类实验,通过实验将本文提出的自适应算法与其他常用的优化算法进行了对比。实验结果表明,TAdam和TAMSGrad有效缓解了学习率的震荡问题,不仅能在训练集上保持和自适应算法一样快的收敛速度,还能在测试集上达到甚至超越SGD的泛化性能,尤其在复杂深度神经网络上的提升更加明显。