论文部分内容阅读
汉语词法分析是中文自然语言处理的首要任务．文中深入研究中文分词、词性标注、命名实体识别所面临的问题及相互之间的协作关系，并阐述了一个基于混合语言模型构建的实用汉语词法分析系统．该系统采用了多种语言模型，有针对性地处理词法分析所面临的各个问题．其中分词系统参加了2005年第二届国际汉语分词评测，在微软亚洲研究院、北京大学语料库开放测试中，分别获得F量度为97．2％与96．7％．而在北京大学标注的《人民日报》语料库的开放评测中，词性标注获得96．1％的精确率，命名实体识别获得的F量度值为88．6％．