当前的大多数中文分词系统都是基于词典的,但是其不能正确的切分文本中新词(字典中不包括)。这些基于词典的分词系统在处理包含较多新词的文本时,效果较差。　　当前新词识别算法包括有监督和无监督两种,但是有监督需要一个详细标注的语料库,往往获得这样的一个语料库是相当困难的。不同的是无监督所需要的先验知识就要少得多,并且能方便的使用相应的度量准则衡量一个候选词成为一个新词的可能性。然而当前无监督算法收词频的影响较大,对稀疏的文本数据集来说处理效果是不能令人满意的。　　本文主要研究基于统计的无监督中文新词发现算法和组合词识别算法。并相应的提出了:重叠子字符串新词度量准则和改进的重叠子字符串组合词度量准则。重叠子字符串新词度量准则从候选词的内部和候选词的外部同时考虑一个候选词成为新词的可能性,并使用相对词频,所以能较好的处理相对稀疏的文本数据。并与另外三个现存的新词发现算法做了实验对比,实验结果表明我们的新词发现算法,比这三个对比算法有较大改进。改进的重叠子字符串组合词度量准则,主要是面对当前自然语言处理中的概念抽取问题,能较好的获取文本集中的概念。本文在实验中将改进前和改进后的算法做了对比,实验结果表明改进后的重叠子字符串组合词度量准则较改进前的有较大提升。　　由于本文算法的特性,使用的是相对词频,所以对词频高的词并没有较大的偏倚,且能给较低词频的词较高的算法统计结果,所以如果需要处理的文本集较大时,可以将其分割成许多较小的数据集,这样就能并行的处理每个数据集,使系统的负载能力更强。