论文部分内容阅读
本登录关键词的识别是中文信息处理中的一个关键问题,文章利用PATTREE《实现了一种可变长统计语言模型,由于不存在n元统计语言模型的截断效应,从而对待提取的关键词的长度没有限制,在该模型的基础上,通过相关性检测,从540M汉语语料中自动提取出了12万个关键词候选字串,最后,经过分析和筛选,候选字串的准确度由82.3%上升到96.1%,实验表明,基于PAT TREE的统计语言模型是实现未登录词提取的有力工具。