基于多层语料库的短语结构标注及计算研究

来源 :南京大学 | 被引量 : 0次 | 上传用户:q115106962
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
海量文本信息的增长给信息检索带来了极大的困难,当前的智能信息检索技术试图通过信息组织,将文本数据转化为机器可以存储、标引、提取的有序数据,同时通过主题法、分类法、主题分类一体化、知识描述框架、本体等方式对其进行深加工。但在这个过程中,主题法、分类法、本体等解决方案的构建需要花费大量的人力,也需要领域专家的介入。而通过将信息转化为数学的方式,如将检索与文档转化为向量,通过矩阵相似完成检索虽然在计算机上较易实现,但检索结果往往出现大量冗余。在这种情况下,对于信息检索的优化主要靠加权或考虑文档外部因素,如从引用角度上来进行改进就是常用方法之一。本文以语言学知识作为解决当前信息检索困境的新思路,将朱德熙先生的"词组本位"思想、Abney的chunk思想、陈小荷先生语法功能匹配思想、冯志伟先生对于术语语法构成的思想应用于科技文献检索,将短语语法功能知识引入信息检索。通过短语语法功能,在关键词、术语构成上可以从语法角度探讨各组成词汇之间的语法关系,而不是简单的以字面相似度或是各种加权后的值来进行匹配。关键词、术语之间关系将不再通过简单共现表现,而是通过语法功能附加新一层的语义信息。利用短语语法功能对关键词、术语短语的分析,符合朱德熙先生的"词组本位",在关键词、术语构成中,汉语词汇位置会产生很多变化。在"词组本位"思想中,词类与短语不存在一一对应关系,词类可以对应多个语法功能,句子的构建与短语构建相同。在信息检索时,关键词、术语的内部组成词汇由于位置产生的变化,通过语法功能即可描述其内部间的语义关系,而不再受到位置变化所带来的影响。对于词面不同的关键词、术语短语,可以从组成语素以及语法功能的角度找出中心语部分,从而解决由于字面表达不同所带来的检索困难。在以最长长度作为整体的情况下,也可以考察这些关键词之间的语法功能,传统依靠共现的检索,在这里由无向图转化为由语法功能所表示的有向图,若干个关键词之间的语法功能有向图可以构成更高一级的复杂网络,这个网络中所有的结点之间都由语法功能关系进行相连。在对关键词、术语进行语法功能描述时,通过对现有的中文短语树库解析,获取相应的语言学支持。由于分词、词性标注以及树库标注体系的不同,不同中文短语树库中的短语所呈现的语言现象也不同,这些短语分布、短语内部构成上均呈现不均匀性,本文的研究将这些不均匀性通过统计的方式呈现出来,借助文献计量学的思想和理论对短语分布、短语组成分布现象进行了观察。如何利用获取的短语知识通过机器学习对短语进行自动识别是进行语法功能分析的前提,在不同的标注体系中是否都能进行有效识别也是一个难点。不同的机器学习模型自动识别结果也不相同,本文针对这些问题进行了对比试验,最终结果表明条件随机场模型在识别汉语短语序列上可以取的很好的效果,在清华树库和宾州中文树库的试验中均可以取得80%以上的正确率。在对现有树库短语知识分析和机器学习的基础上,通过对CSSCI关键词、标题的切分获取科技文献词汇及词类知识。从语法功能构成上,分析词组型关键词、术语的内部成分。最后通过条件随机场模型识别CSSCI中标题、摘要部分的短语结构,在识别结果中通过语法功能分析其中关键词、术语间的关系,将无向共现问题转化为有向的语法功能关系。
其他文献
在语言学研究领域中,古文献研究一直占有很重要的地位。到目前为止,在维吾尔文献研究领域里主要是古代突厥文、古代维吾尔文、中古及近代维吾尔文的文献。本研究采用语言学、
随着自然语言处理和文本挖掘技术的发展,从非结构化文本中挖掘和抽取相应的知识日益成为一种趋势,而基于面向网络构建的英汉双语平行语料库,从中挖掘和抽取词汇、简单短语和
<正>由中国研究型医院学会肝病专委会、解放军第三〇二医院主办的"第五届肝纤维化肝硬化诊疗新进展论坛暨中国研究型医院学会肝病专委会肝纤维化学组成立大会"于2017年11月24
党的十九大报告和党章把巡视巡察监督作为全面从严治党的制度性安排予以明确。通过巡视巡察发现问题是手段、出发点,解决问题是目的、落脚点。在深化巡视巡察工作的同时,做好
介绍挪威工业界使用OEE作为考核设备效率的关键性能指标,以及实际使用OEE指标的4个层次生产损失的模式和15个生产损失要素。
本文简单的阐述了直升机机载无线电系统通用测试手段的研究,采用可重构技术,解析了测试平台设备硬件的搭建及测试软件框架。
期刊
有关情境的研究最初源于移动与普适计算领域。情境因素的引入使得系统能够利用地理位置、环境、时间等时空情境信息为用户提供满足其需求的服务与计算资源。之后,随着电子商
院文章阐述了建筑工程安全文明施工管理的重要性,提出了建筑工程安全文明施工管理中存在的主要问题,分析了建筑工程安全文明施工管理问题的对策,包括宣传文明施工措施、施行
近年来,随着广谱抗菌素、抗肿瘤药、免疫抑制剂的大量应用,放射治疗和器官移植的广泛进行,导管和插管的普遍开展,以及免疫缺陷患者尤其是艾滋病患者的急速增加,致使真菌感染
目的比较含气性和非含气性肝脓肿介入性超声治疗的方法和效果。方法比较两组患者的临床特征、实验室和影像学检查结果以及超声介入治疗效果。结果 (1)含气性化脓性肝脓肿(GFP