基于条件随机场的命名实体识别及实体关系识别的研究与应用

被引量 : 24次 | 上传用户:cclone
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
命名实体识别是将文本中的元素分成预先定义的类,如人名、地私、组织机构名、时间、货币等等。作为自然语言的承载信息单位,命名实体识别属于文本信息处理基础的研究领域,是信息抽机构取、信息检索、机器翻译、问答系统等多种自然语言处理技术中必不可少的组成部分。在实体识别领域,国外科研机构针对英文实体的识别已取得了突出的成绩,识别准确度达到90%以上。由于中文在分词及语义方面存在着众多的困难,国内针对该问题还处于研究和探索阶段。所以针对中文实体及关系的识别的研究有着重大的意义。论文的工作主要体现在以下几个方面:第一,研究分析了用于实体识别及实体关系识别的众多的机器学习模型,包括隐马尔科夫模型、最大熵模型以及支持向量机模型。分析这些模型在实体识别方式方面的优势和缺陷,并通过分析发现新兴的“条件随机场模型”是一种在结构上继承了经典模型的优点,并克服了在识别中不能依赖周边信息以及标记偏置等缺陷的模型。国内外的相关实验也表明在自然语言处理,特别是实体识别领域,条件随机场模型有着更加出色的发挥。故而本系统选用其作为实体及实体关系识别的算法模型。第二,由于条件随机场模型拥有可进行长距离信息依赖的特点,可以充分利用当前词前后词的属性对当前词进行更加准确的判断,因此本论文将该模型选择为本课题研究和引用的模型。而“条件随机场模型”也存在着“过于依赖特征的选取”的弊端,即实体识别程度的好坏在很大程度上取决于对于特征向量选取的好坏。现阶段还没有针对中文特征选取的相关规则,本文将针对该系统语料集的特点,使用由简到繁的特征选取方式构建特征模板。因此对于特征的选取及特征模板的构建是本系统的重点工作。在实体识别阶段构建的特征模板为:1)选取词语本身及词性作为特征构建了基本特征模板;2)选取实体特征,通过语料转换构建了实体特征模板;3)选取实体指示词构建了指示词模板,并在其中加入了相关的专业词典信息;4)通过特征的组合构建了组合特征模板。在实体关系识别阶段除了选取了基本特征、词性特征外,本文还提出了将句法结构作为重要的特征用于构建特征模板。通过对句法结构的分析,选取共同节点特征、依赖动词特征、实体-实体路径特征以及实体-依赖动词路径特征作为实体关系识别的重要特征。第三,本系统以条件随机场模型为框架,使用1998年人民日报语料做为训练集,完成模型的训练工作。在网页解析方面,提出了一种结合HTMLParser的技术将涉及《天龙八部》小说人物的百度词条中的正文信息进行了提取,生成测试集。使用测试集进行实体识别及实体关系识别的实验,数据表明本文提出的特征模板已经达到了良好的准确度、召回率。本系统将识别出的人物实体的关系对形成索引,并以简图的形式进行人物关系的展示。在模型方面,该研究为条件随机场的特征选取方式提供了一种规则借鉴。在系统方而,这种通过将机器学习算法引入文学作品,并分析人物关系的方式也成为了文学研究的一种尝试与探索。
其他文献
<正>为提升在思想政治理论课课堂教学中融入社会主义核心价值观教育的质量和效果,有必要对传统思想政治理论课教学的考核方式进行分析,并且不断改进和创新考核方式。一、传统
近日,由上海民防科普教育馆联合杜莎夫人蜡像馆、上海新闻广播《安全进行时》栏目共同举办的“安全伴成长,快乐过暑假——2015公共安全科普亲子夏令营”圆满落幕,共有45个家庭及
<正>某天的上午,戴着大口罩的某城市女孩小梅疲惫地坐在某医院变态反应科的候诊区,周围是摩肩接踵、操着南腔北调的患者。戴口罩的不止小梅一个,他们不是害怕当下的流感,而是
介绍了复合耐磨材料的特性,发电厂球磨机复合衬板和复合管道的制作工艺,用固-液、液-液、钢-塑和钢-陶瓷浇注法制作的复合耐磨管道的优缺点,以及堆焊制备复合耐磨材料的工艺
目的探讨儿童肺炎克雷伯杆菌急性下呼吸道感染(ALRTIs)的临床特点及耐药情况。方法对2006年1—12月住院的780例ALRTIs患儿进行痰液细菌培养,对检出的肺炎克雷伯杆菌进行超广
目的 试用元情绪量表(Trait Meta-Mood Scale,TMMS)获取新兵的情绪智力情况,进一步修订情绪智力测验量表-TMMS。方法 抽取某集团军入伍3个月内的新兵1000人进行施测,并进行信
甘南藏族服饰继承了藏族服饰的传统元素,并具有独特的区域文化特点。它的形成和发展是民族(部落)历史变迁的产物,深受地理环境、气候条件、生产方式、文化交流等诸多方面的影
近年来,由于云存储的迅猛发展,越来越多的用户或者企业选择把个人数据放到云端存储。通过向云存储服务提供商(Cloud Service Provider,简称CSP)租用存储空间,用户只需要付少
外交新闻发布会在美国外交活动中发挥着不可替代的作用。美国外交部举行的外交新闻发布会是美国在国际外交事务中表明政治立场,维护国家利益,促进国际交流的重要手段。人们普
经过改革开放近40年的快速发展,党的十九大报告及时作出了中国特色社会主义进入新时代的重大判断。新时代必然提出中国政治发展的新要求,其中首当其冲的就是要有适应新时代政治