表示学习是人工智能领域的核心研究问题之一。许多成功的模型都可以被理解成是表示学习的特例,这包括用概率建模隐变量和观测变量联合分布的隐变量模型,以及端到端学习层次化表示的深度模型。在大数据时代,表示学习模型通过利用数据中丰富的信息,得到了远超人工特征的模型效果。然而,大数据量也对表示学习的效率提出了严峻的挑战。随机算法的噪声、近似优化算法的不稳定性、高时间复杂度等都影响了表示学习算法的效率。本文基于方差缩减、拒绝采样、访存优化等技术,研究了隐变量模型和深度表示学习两类模型的高效算法,并研究了这些算法在文本分析、生成式模型、图节点分类等多个任务中的应用。具体地,本文创新点有:1.提出隐变量模型的方差缩减EM算法,并给出了其局部收敛速度和全局收敛性的理论结果。2.提出了缓存高效的O(1)时间复杂度主题模型采样算法,该算法较之前算法提速了5-15倍,且能扩展到数亿文档、数百万主题、上万CPU核的场景。3.提出了结构化主题模型的高效算法,具体包括层次化主题模型的部分坍缩吉布斯采样算法,将该模型扩展到了比之前大5个数量级的数据集上;以及有监督主题模型的坐标下降、拒绝采样算法,较之前算法加速4倍。4.提出了总体匹配差异,一个两分布之间距离基于样本的估计;证明了总体匹配差异的一致性,并讨论了其在领域自适应、深度生成模型上的应用。5.提出了一个基于控制变量的图卷积网络高效随机训练算法,并给出了其收敛性证明和实验结果,较之前算法收敛速度快了7倍。