自然语言处理是计算机科学中一个引人入胜、富有挑战性的课题。它的任务是建立一种能够模拟人类语言认知过程的计算模型。但是当前计算机的智能水平还远远不能与人类相提并论,困扰其发展的原因有很多,统计语言模型中数据稀疏的问题则是自然语言处理领域必须解决的几个难题之一。本论文主要针对目前正得到广泛推广与应用的统计语言模型,研究了建立模型的各种方法以及相关的平滑技术,提出了能满足概率归一性的建立模型的方法以及结合互信息、熵和非线性优化等理论的基于互信息的统计语言模型平滑算法。论文的主要工作如下：首先本文介绍了统计语言模型中常用的概率论和信息论方面的相关知识,然后详细地介绍了现有的几类统计语言模型的平滑算法。其次,论文研究了统计语言模型的建立。通过分析一元、二元及三元模型的建立,给出了满足概率归一性的建立方法。’为保证建立模型的有效性和方便使用语言工具包,给出了在模型建立前,对初始语料库必要的预处理过程。还介绍了一些语言模型工具包,以及如何借助语言模型工具包建立语言模型的过程。同时,本文还提出了一种新的基于互信息的统计语言模型平滑技术。从互信息的角度考虑,分析词之间的搭配关系,对已有事件频率的分布做出合理的调整。其基本思想是：根据模型中每个二元对的互信息的高低对其概率进行不同程度的折扣,对模型中未出现事件的概率值的获得则回退到低阶模型。进一步,利用非线性系统理论,依据极小化困惑度方法,确定平滑公式中的系数值,从理论上保证了此平滑技术的优越性。还根据语言学的知识,在分析二元对中词之间的关联程度时,增加了对词对组合的频数信息的考虑。并将其应用在本文提出的平滑算法中,使算法更合理。论文最后把本文提出的平滑算法和传统Katz平滑算法相比,在不同类别的测试集下,本文提出平滑算法模型困惑度下降均超过20%。实验结果显示出本文提出的新的基于互信息的平滑方法的优越性。