随着Internet飞速发展和网上中文信息的逐渐增多,中文信息处理应用日益广泛,而中文分词是中文信息处理的首要前提。中文与英文不同,中文文本是一个连续的字符流,词与词之间并没有明显的切分标志,因而中文信息处理的首要问题是词的切分问题。中文文本的自动分词已成为中文信息处理的一个前沿课题。本文对中文文档分词进行了研究。首先,介绍了中文分词的相关知识,提出了中文分词所面临的困难,分析了现有中文分词的主要方法和最大匹配方法(Maximum Matching Method,MM),并指出了它们的优缺点。其次,基于提高分词速度的迫切需求,根据最大匹配方法的思想,提出了一个优化最大匹配的分词方法。在分词过程中,只比较待分字串的末尾字,替换现有的最大匹配方法,将待分字串中的所有字符与词典中词进行匹配,快速判断待分字串是否成词。最大匹配方法属于基于词典的分词方法,因此建立一个词典存储结构,并给出了优化最大匹配的分词算法。再次,基于中文分词时常常出现的歧义切分的现象,提出了改进汉语句内相邻字之间的统计信息量的新方法。针对交集型歧义占歧义字段的85%,主要对交集型歧义字段的切分进行研究,提出信息量统计的方法,正确切分歧义字段。最后,采用面向对象的方法,利用本文所提出的算法实现了中文文档分词系统,并描述了系统的体系结构和系统中各模块的工作原理。通过实验对所提方法的正确性和有效性进行了验证。