主题模型是一种用来挖掘文本隐藏主题的统计方法,以潜在狄利克雷分配模型（Latent Dirichlet Alocation,LDA）为代表的主题模型方法能对文本信息进行自动组织和归纳,解释文档的潜在语义,分析海量信息中蕴藏的主题。变分推理是用于含有隐变量模型的学习和推理的方法,主要用于求解近似贝叶斯模型中的后验概率,而LDA模型恰恰是一种基于贝叶斯学习的主题模型,可以用来很好地求出每篇文档的主题分布。本论文以基于变分推理的LDA模型为研究课题,针对变分推理的变分分布和KL-散度（Kullback-Leibler）的改进做了进一步的研究。首先,对于变分分布,传统的想法是把它定义成平均场形式来简化模型,使得多维分布的每个变量都相互独立,对于高维的情况的确作了很大的简化。然而在实际应用中,一些变量之间是有一定的相关性的,针对维数不多的情况,这种假设在一定程度上破坏了变分推理的精度。基于此,本文取消了变量间的独立性,对模型进行了改进,来加强变量之间的依赖性。其次,对于证据下界,传统的方法是利用KL-散度来定义两个分布之间的相似度,进而推出证据下界的表达式。这里不再仅仅用KL-散度来定义分布间的相似度,而是结合χ~2-散度和KL-散度的定义,进而得到一个新的优化目标。利用这种度量方法,使算法同时具有χ~2-散度和KL-散度的优势。最后,本文分别将两种改进了的变分推理法应用于LDA模型的参数估计中,进而得出文本的主题分布,然后与传统的变分推理在LDA模型上的应用进行对比。通过计算模型的困惑度,可以得到改进后的模型的效果比传统的模型更佳。