中文自动分词,就是利用计算机将连续文本切分为以词为单位的字符序列。全文检索是以文档的全部信息作为检索对象的一种检索方式,较以往以文档外部信息如题名、关键字等的检索,全文检索既提高了检索精度和检索速度,也扩展了用户检索的自由度。中文自动分词是全文检索的首要步骤,也是中文信息处理的基础,因此,对其研究具有重要的理论和现实意义。本文在对传统自动分词系统及目前已有的主要自动分词算法研究的基础上,对传统分词词典的组织结构和分词算法都做了改进,具体工作如下:设计了基于Hash的三层分词词典组织结构,以提高词典查询效率;对传统的最大正向匹配算法进行了改进,将传统的固定最大匹配词长改为分词过程中动态确定,充分体现了“长词优先”原则;对于分词中的歧义字段问题,分别对交集型歧义和组合型歧义进行了分析,并针对占歧义字段总数90%以上的交集型歧义识别提出了一种改进的最大正向匹配算法;对分词中的未登录词识别问题,分别对三种主要形式人名、地名、机构名进行了分析,并针对地名提出了一种新的基于互信息的识别方法。经大量实验测试表明:本文研究初步实现的自动分词方法具有较高的分词速度,平均达到了12000字/秒以上,同时在分词精度方面,对交集型歧义字段保持了97.56%的召回率,对地名识别也达到了93.41%的召回率。综上所述,本文研究的自动分词方法,具有较好的分词效果,可以初步应用于全文检索及各种中文文本处理。