机器学习方法为计算机提供了强大的数据分析能力,其在数据挖掘、计算机视觉、自然语言处理等许多领域得到了极为广泛的应用。诸多机器学习模型的训练过程均可看做解大规模优化问题,其求解过程往往涉及大量矩阵操作。高质量的矩阵近似可以大幅度提升算法的速度并减小空间开销。本文关注优化算法中的矩阵近似,通过对机器学习中常见的矩阵类型设计近似算法以提升算法的效率;同时从优化角度对矩阵近似建模,提出更合理的近似方法。这些算法可应用于高斯过程回归、在线凸优化、分解机模型等问题。本文的贡献概括如下:·本文提出了关于一般酉不变范数的正则化矩阵近似形式。正则化矩阵近似在减小近似误差的同时,还拥对正定矩阵的近似结果可逆,减小条件数的性质,为优化算法中常见的求逆操作提供了很大便利。·本文提出了谱平移Nystr?m方法,其通过对核矩阵的采样得到一个原矩阵的近似结果。对于小特征值较大的核矩阵,该算法的近似误差明显小于传统Nystr?m方法。我们将其应用于高斯过程回归,得到了好于现有算法的结果。·本文提出了鲁棒频繁方向方法,其通过额外的正则项对频繁方向方法和增量奇异值分解进行了改进。将其应用于在线牛顿法中,可自适应选择二阶信息中的正则项,从而得到一个无超参数的在线优化算法。·本文提出了针对矩阵样本分类问题的支持矩阵机模型,模型采用谱弹性网作为正则项。谱弹性网其拥有关于行(列)的分组效应,更适合对结构信息明显的样本分类问题进行约束。·本文提出了广义频繁方向方法来近似对称不定矩阵,并设计了概略追随正则化领袖算法来解在线分解机模型。算法利用分解机模型损失函数的特定结构对模型的梯度近似后,可在悔界接近精确追随正则化领袖算法同时大幅降低计算开销。·本文将频繁方向方法推广至近似一般矩阵乘积,其比基于随机采样和投影的矩阵乘法近似方法有更好的近似结果和稳定性。其在典型关联性分析、多任务学习、多标签分类等问题中有很多潜在的应用。