基于统计语言模型的汉语浅层分析研究

被引量 : 12次 | 上传用户:cailing12530
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
句法分析是自然语言处理中的重点和难点。针对完整的句法分析在处理大规模真实文本中遇到的困难,许多研究人员尝试着把一个完整的句法分析问题分解为若干个子问题,以逐步降低完整句法分析的难度,提高分析效率。浅层分析就是在这样的发展趋势下出现的一种新的语言处理策略。它致力于识别句子中某些结构相对简单、但在句子组成中意义重要的成分,从而简化句子结构,为句子更深层次的分析提供基础。浅层分析不仅对需要完全句法分析的机器翻译有重要的作用,而且在一些不需要完全句法分析的自然语言处理任务中也有广泛应用,如词典编纂、信息提取、文本分类、文摘生成和问答系统等领域。随着在语料库基础上发展起来的经验主义方法在自然语言处理中的广泛应用,统计语言模型已经成为当前各项自然语言处理任务中的主流技术。本文在统计方法的基础上对汉语浅层分析进行了研究,主要包括:新词识别,命名实体识别和组块分析。提出了互信息与串频统计相结合的新词识别方法。识别的新词主要指未登录词中的非命名实体。将单字、单字词及其相邻的多字词列入新词的候选成分,计算候选成分之间的互信息时,融合了成词可信度信息和词长信息,并将串频统计信息加入到可能包含新词的候选字段对应的互信息向量中。该方法可以识别由多字词与单字或多字词与单字词组成的新词,取得了较好的新词识别结果。命名实体是一种很重要的未登录词。未登录词的存在会造成自动分词的错误,分词错误又会反过来影响未登录词的识别。针对自动分词与命名实体识别之间存在互相影响的矛盾问题,提出了一种基于有向图语言模型的与分词一体化的命名实体识别方法。将普通候选词和命名实体候选词映射为有向图节点,将候选词之间的接续关系映射为有向边。利用N-gram模型为有向边赋以合适的权值,使句子最好的分词方式尽可能对应有向图的最短路径。该一体化方法提高了命名实体识别的精度。给出了双规则AdaBoost(DR-AdaBoost)分类算法并将其成功应用于汉语组块分析。DR-AdaBoost算法在每次迭代中将双规则(最优弱分类规则和次优弱分类规则)线性组合作为评价标准.在UCI数据集和CoNLL-2000共享数据集(英语组块分析)上的测试结果表明、该算法与AdaBoost算法相比,收敛速度快且分类精度高。在汉语组块分析任务中,DR-AdaBoost算法提高了组块分析的精度。DR-AdaBoost算法还可以应用于其它自然语言处理任务或其它分类问题中。
其他文献
基于Kim的弹粘塑性单球壳塌缩模型,考虑PBX炸药中的粘结剂效应,假设炸药和粘结剂均为弹粘塑性材料,建立了弹粘塑性双球壳塌缩热点反应模型,给出了炸药球壳在冲击压力作用下的
建立具有中国特色、符合实际的我国高校董事会制度,是完善大学内部治理结构的重要举措。美国高校董事会制度是世界各国高校借鉴的典范,具有明晰的法律地位,清晰的治理结构,明
酸化是油气田增产增注的有效措施之一,缓蚀剂是重要的酸化添加剂。针对高温地层酸化对缓蚀剂的性能要求和目前国内常用酸化缓蚀剂在高温下易结焦、溶解分散性差、缓蚀效果不
保障和提升高等教育质量是现阶段我国高等教育面临的重要问题。传统的高等教育质量评价方法过分注重高校的声誉和硬性指标,缺乏对真正体现教育质量的"过程性指标"的分析,未能
北极航线是指穿过北冰洋,连接太平洋北部和大西洋北部的航线。北极科考数据显示,极有可能在2050年北极出现夏季无冰状态,届时北极航线则有望全线开通。北极航线开通,受益的不
计算机技术的不断创新与进步为翻译领域带来了许多新的工作模式,徐彬副教授提出的MT+CAT+PE翻译模式就是其中一种。MT+CAT+PE翻译模式包括机器翻译、计算机辅助翻译和译后编辑。本次翻译项目采用MT+CAT+PE的翻译模式,将现代翻译技术应用于创造性文本,深度探索机器翻译与创造性文本结合的发展潜力。作者首先利用百度翻译将源文本《美国史诗》(第十章)进行预翻译,然后将机器翻译的译文导入翻译软件M
<正>"少跑"是"最多跑一次"的1.0版,通过承诺制改革实现"少批",则是"最多跑一次"的升级版。"跑出加速度",是制度竞争之核心所在。"放管服"改革深入推进中,浙江的探索特别引人
钴是重要的新能源材料,在现代工业发展中有许多不可替代的用途。美国和欧盟都将钴列入了影响国家和地区安全及未来经济发展的关键矿物和材料清单。介绍了全球钴矿资源和开发
对于现在的小学生,平时大量的阅读,都有助于小学生平时语文写作能力的培养。小学生语文作文教学就是针对学生的写作训练为主要内容,注重培养小学生的写作技巧。由于小学生在
新建本科院校应用技术转型是指以应用技术为导向,根据外部需求环境的变化,对管理体制机制、运行模式和发展战略进行动态调整和创新的过程,其内容包括思想观念、制度体系、育