随着信息技术的飞速发展,大数据时代的互联网应用系统涉及到的实体数量非常庞大,其中绝大多数实体间关系尚未可知,这样的信息网络具备高维、稀疏的特性,称作高维稀疏网络。高维稀疏矩阵是一种有效描述网络中实体以及实体间关系的重要数据结构。由于这些数据真实地反映了用户的历史行为,故蕴含大量有用信息,具有非常高的挖掘价值。非负隐特征模型高效地从含有非负数据的高维稀疏矩阵中挖掘知识,是目前最具前景的非负隐特征分析方法之一。单元素非负乘法更新算法基于高维稀疏矩阵构建非负隐特征模型,具有很高的计算和存储效率。然而,该算法本质上基于梯度下降算法优化目标,容易造成训练过程收敛速度过慢。针对上述问题,本文重点研究了一些优化方法来改善算法的收敛能力,进而提高非负隐特征模型的性能。主要包含以下研究:(1)提出可变学习深度的单元素非负乘法更新算法。本算法通过线性和非线性控制策略隐式地调整学习率,进而达到控制算法学习深度的目的。本文给出了上述方法的更新规则,并通过严格的数学推导证明其收敛性。在真实高维稀疏数据集上测试了控制学习深度对非负隐特征模型性能的影响。实验结果表明学习深度的改变会显著影响模型性能。(2)提出广义动量方法,构建快速收敛的非负隐特征模型。标准的动量方法能显著提升梯度下降算法的收敛速度,其更新规则明确地依赖于梯度项。在非负限定条件下,单元素非负乘法更新算法不再显式地包含梯度项。为了使动量方法与之相兼容,本文提出了广义动量的概念,推导并提出动量方法的广义形式。基于广义动量提出结合动量的单元素非负乘更新算法,构建快速收敛的非负隐特征模型。实验结果表明本文通过引入广义动量方法显著提升了单元素非负乘法更新算法的收敛速率,同时提高了非负隐特征模型对缺失值的预测准确性。(3)研究了Nesterov快速梯度方法,结合该方法提出了另一种加速收敛的非负隐特征模型。本方法类似于动量方法,但是在计算速度向量时本质上考虑了二阶梯度信息,因此在理论上具备更有效的加速效果。本文推导了基于Nesterov方法加速的单元素非负乘法更新算法,构建加速收敛的非负隐特征模型。并在此基础上提出一种适应性调整动量超参数的策略。大规模数据集上的实验结果表明本文提出模型加速效果明显,同时能够提升非负隐特征分析模型的准确性。