论文部分内容阅读
随机梯度下降（SGD）算法是处理大规模数据的有效方法之一。黑箱方法SGD在强凸条件下能达到最优的O（1/T）收敛速率，但对于求解L1＋L2正则化学习问题的结构优化算法，如COMID（composite objective mirror descent）仅具有O（lnT/T）的收敛速率。提出一种能够保证稀疏性基于COMID的加权算法，证明了其不仅具有O（1/T）的收敛速率，还具有on-the-fly计算的优点，从而减少了计算代价。实验结果表明了理论分析的正确性和所提算法的有效性。