数据量的增长和模型大小的增大推动了大规模机器学习的显著进步。对于数据特征维度特别高的模型,即使是简单的线性模型也存在参数量过大的问题。同时,为了适应多种任务,许多复杂的深度神经网络被设计出来。这使得大规模机器学习具有计算复杂度高,模型参数量大的特点。为了同时解决模型训练耗时以及模型存储空间有限的问题,主要有两方面困难。一方面,分布式训练常被用来加速模型训练,但不同计算结点之间交换信息(如随机梯度)的通信成本成为训练效率的关键瓶颈。另一方面,参数量非常大的模型,往往难以直接应用到内存和计算资源受限的设备上。为了便于存储,通常需要一个稀疏模型。如何在分布式框架中平衡模型的稀疏性、性能和通信成本仍然是一个悬而未决的问题。为了同时克服这两个困难,我们提出了用于分布式训练的量化复合镜像自适应次梯度(Quantized cmd adagrad)和量化正则对偶平均自适应次梯度(Quantized rda adagrad)。具体来说,我们探索了如何利用梯度量化来降低分布式训练中每次迭代的通信成本,并构造了一个基于量化梯度的自适应学习率矩阵,以便在通信成本、准确性和模型稀疏性之间取得平衡。此外,本文还从理论上证明较大的量化误差会带来额外的噪声,从而影响模型的收敛性和稀疏性。因此,在量化复合镜像自适应次梯度和量化正则对偶平均自适应次梯度中采用量化误差相对较小的门限量化策略,以提高信噪比,保持模型的稀疏性。理论分析表明所提算法的收敛速度为(?)。充分的理论分析和大量的实验结果都证明了所提算法的有效性。