互联网中日益庞大的海量信息给信息处理带来了极大的挑战,尤其是在中文信息处理领域,其中最为重要的一个就是对中文分词技术的要求。中文分词的主要目的就是将中文语句解析为具有正确含义的词语的组合,从而使得计算机可以理解句子的意义,信息索引、自动摘要、文本分类、自动聚类、文本纠错、手写输入、智能应答等各个领域中对信息处理的第一步都是中文分词,所以加强对中文分词技术的研究具有极为重要的意义。本文运用条件随机场统计模型将中文分词中的词语切分问题成功转换为汉字的组合构词问题,主要是引入了汉字词位的概念,通过对汉字词位的标注使其能够依照词位组合的规则进行词语合并,整个过程通过机器学习训练的方法加以实现,不仅提高了分词的准确度,还能使分词工作摆脱对词典的依赖。本文运用JAVA语言实现了基于条件随机场的分词系统,首先对真实语料库特征信息进行统计,建立了可扩展可维护的特征信息库,然后运用viterbi算法对词位序列求最优解,在实现viterbi算法的过程中引入了规则限制以去掉无效的组合,从而降低了viterbi算法的计算量。在实验阶段,运用真实语料库进行训练和测试,并编写了高效的性能评测算法对系统的分词结果进行分析。本文的研究方法可以通过汉字的词位组合规律来识别未登录词,从而可以在未登录词的识别问题上做更进一步的研究。