新闻语料中的缩略语的识别与还原技术初探

来源 :山西大学 | 被引量 : 0次 | 上传用户:i4majia
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在人们利用计算机技术自动处理海量信息的大背景下,信息检索、信息抽取、机器翻译、文摘生成等技术应运而生。命名实体识别是对文本自动处理的前提工作,它的质量会直接影响到后续的一系列工作。虽然命名实体识别技术已经相当成熟,然而从评测的结果来看,中文命名实体的识别还远不能满足应用的需求。因为这里存在着技术、资源、应用需求之间有机结合的问题。  缩略语和其他命名实体一样,具有开放性和发展性的特点,而且表现形式极其丰富,给其识别带来了一定的困难。包括缩略语识别在内的命名实体识别问题已经成为词法分析使用化的主要瓶颈。缩略语识别作为命名实体识别的一个子任务,是自然语言处理领域的一个重要而困难的问题。  在本文中,我们以新闻语料中的缩略语为研究对象,提出了一种基于规则与统计相结合的缩略语识别方法;以及基于互信息的缩略语的还原方法。在缩略语的还原实验中本文利用缩略语相对稳定地抽取规律这一特性,通过统计生成缩略语字对应原语言词的词典,利用匹配概率和共现概率进行缩略语对应原语言的还原,取得了较好的效果。主要的研究内容有以下几方面:  1.首先根据缩略语同原语言的关系将缩略语分为有回指的缩略语和零回指的缩略语,这样的分类为以后的工作提供了一个清晰明确的方向。  2.通过对真实语料的统计,深入分析了缩略语的内部特征和上下文环境特征,为基于规则的缩略语识别建立了语言学基础。同时,建立了基于真实语料的缩略语资源库,包括缩略语词库、特征词库和缩略语字对应原语言词的词典库等。其中,还使用了《现代汉语缩略语词典》作为语义资源,对缩略语词库进行了语义扩充。  3.建立了缩略语实例库。在构建实例库的过程中,不仅考虑了缩略语的内部结构,而且加入了缩略语上下文环境信息,即实例向量中包含了缩略语的内部结构和上下文结构,较好地综合利用了各种启发信息。  4.按照基于规则识别缩略语的策略,设计实现了一个缩略语识别实验系统。首先通过模糊匹配的方法,将有回指的缩略语识别出来,然后根据规则对零回指的缩略语进行识别,从而完成了缩略语识别的过程。  5.提出了一种基于互信息的缩略语的还原方法。我们针对缩略语同原语言的不同关系,提出了两种不同的的缩略语还原方法。首先对于有回指的缩略语采用模糊匹配同规则相结合的方法进行缩略语的还原;其次对于零回指的缩略语采用基于互信息的方法对缩略语进行还原。  我们对所选用的150万语料进行测试,根据规则正确识别缩略语1,289个,漏识别78个,错误识别97个;系统召回率为:94.3%,准确率为93.0%;根据统计的方法对缩略语进行还原,正确还原989个,错误还原378个,准确率为72.3%。
其他文献
该文介绍了彩色电子出版系统中彩色图像输出需要解决的几个关键技术:灰色、校色技术和挂网技术.文中首先简单介绍了彩色电子出版系统的组成和需要解决的技术,然后针对实际情
基于特征参数化设计系统支持广义几何特征的参数化,支持特征线性修改和特征的非线性修改,支持面向装配的特征设计.该系统使产品设计和修改与其历程树无关,大大提高了期产品设
该文对泥浆中超声测距遇到的一些问题的产生原因和解决措施进行了分析和探讨,从理论上分析了在方波调制脉冲激励下的超声信号随时间的变化规律,设计了超声发射及接收电路,采
该文对2值Bent函数进行了研究,取得了下列新的结果.一、综述了Bent函数的发展过程和主要成果;二、提出了一种构造Bent函数的新方法,依此可定出大量新的Bent函数;证明了一些二
人脸识别是图像处理和模式识别领域的一个研究热点,它涉及到模式识别、图像处理、计算机视觉、机器学习等多个学科领域,人脸识别在国家安全、公安系统和城市的公共安全等方面有
该文从作战训练模拟系统的应用领域和系统开发角度,论述了海军战术综合训练模拟系统的设计和实现.首先,论文对分布式计算技术和面向对象技术进行了深入的分析和研究;然后,运
随着互联网上大量XML数据的出现,人们越来越希望以对待数据库的方式管理和查询XML数据。为了增强XML数据的语义能力,国内外许多学者都致力于用传统的完整性约束扩展XML模式体系
该文主要研究非奇异M矩阵的判定法则.该文在已有的判别准则的基础之上,以具有非零元素链对角占矩阵为媒介,用新的方法得到了M矩阵判别的新的判定准则.从对角占优矩阵及双对角
森林景观模拟是计算机仿真技术在林业中的一个重要应用领域,因为林木的状态变化多样,具有明显的分形特征。所以,用计算机图形学的方法模拟林木的三维生长一直是个难题。  本文
该文首先分析与总结了网络安全中非常重要的三种安全机制:加密机制、数字签名机制和认证机制.然后对电子邮件加密软件包PGP和安全电子交易的标准协议SET进行详尽的剖析.对于