随着社会的日益信息化,人们越来越强烈地希望用自然语言同计算机交流。自然语言理解是计算机科学中的一个引人入胜的、富有挑战性的课题。从计算机科学特别是从人工智能的观点看,自然语言理解的任务是建立一种计算机模型,这种计算机模型能够给出像人那样理解、分析并回答自然语言(即人们日常使用的各种通俗语言)的结果。中文自然语言处理是让机器理解中文的核心技术。汉语分词和词性标注是中文信息处理领域内的一个重要课题,它的发展能带动其它相关语言学应用的发展。本文的核心工作可以概括为以下三个方面:(1)介绍了最大熵理论以及最大熵理论对自然语言理解的重要意义,并进一步介绍了以最大熵理论为驱动发展起来的条件随机场模型。条件随机场模型不仅克服了以隐马尔可夫模型为代表的“产生式”模型那样的严格独立假设,并解决了最大熵马尔可夫模型和其他“非产生式”模型所存在的标记偏置的问题。(2)对现有的一些汉语分词和词性标注算法和模型进行了比较、综合。在总结前人研究成果的基础上,对传统的几种模型加以比较,采用了基于条件随机场的汉语分词方法,使得汉语分词和词性标注结果的准确率有一定的提高。(3)根据汉语分词的特点及条件随机场所使用的特征,确定了一套基于条件随机场模型使用的特征模板,并对歧义词和未登录词的分词统计进行了详细的说明。分析、设计和实现了一个基于条件随机场模型的汉语分词和词性标注模块。