基于深度学习的语义关系分类研究

来源 :北京交通大学 | 被引量 : 7次 | 上传用户:xxhaizi
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
实体间的语义关系分类是自然语言处理研究中的一项重要任务,它在信息检索、文本摘要、机器翻译、知识库构建、语义网络等领域都有着广泛的应用。同时,语义关系分类在词义消歧、语言模型、文本释义和文本蕴含等任务上也有着很好的辅助研究作用。近年来,随着深度学习研究的兴起,其在自然语言处理领域也得到了广泛的关注和应用。在语义关系分类领域,采用深度学习的方法比传统的基于特征和统计的方法在节约人工处理成本的同时,获得了更好的关系提取效果。现有的基于深度学习的语义关系分类方法大多都是基于浅层的神经网络模型,并没有充分利用神经网络在模型深度上提取更深层语义特征的优势。本文参考了在语言建模上门控卷积神经网络的工作和计算机视觉领域获得了很大成功的和深度残差网络的设计思路来构建深层的端到端神经网络语义关系分类模型。本文模型基于卷积神经网络文本分类模型,在浅层的文本特征上逐层提取文本更深层次的高级抽象特征,引入门控卷积神经网络的中门控线性单元和深度残差网络中残差学习的概念来解决模型深度增加导致的梯度消失问题和模型难以训练的问题。本文提出的端到端门控卷积神经网络模型在不引入外部语言学特征(linguistic features)的情况下,在SemEval-2010语义关系数据集上获得了 85.6%的F1值,达到了当前端到端语义关系分类方法的最好水平,证明了本文利用网络层数提升关系分类效果理论的有效性。句子词与词之间的依存关系,特别是实体名词之间的最短依存路径包含了重要的判断实体名词之间语义关系的信息,最短依存路径上的谓词-论元序列对语义关系判断有着很强的相关性。基于这一概念,本文在端到端模型的基础上融合了依存句法特征对语义关系分类任务作出进一步探究。为使依存关系表达的信息更为准确,本文同时引入了词性标注特征、语法关系特征和WordNet上位词特征辅助依存句法特征的提取。依存句法特征的提取采用两个独立的LSTM循环神经网络沿最短依存路径两个子树上的依存方向进行,并与端到端模型提取的句子整体的特征做特征融合。本文提出的混合模型可有效利用两种不同建模方式获取的融合特征,在端到端模型的基础上进一步将实验结果提升至87.0%,达到当前最好水平。
其他文献
回 回 产卜爹仇贱回——回 日E回。”。回祖 一回“。回干 肉果幻中 N_。NH lP7-ewwe--一”$ MN。W;- __._——————》 砧叫]们羽 制作:陈恬’#陈川个美食 Back to yield
回 回 产卜爹仇贱回——回 日E回。”。回祖 一回“。回干 肉果幻中 N_。NH lP7-ewwe--一”$ MN。W;- __._——————》 砧叫]们羽 制作:陈恬’#陈川个美食 Back to yield
目前中文专业教学存在着重知识传授,轻经典阅读的现象,影响了学生创新能力的培养.中文专业的教师在教学中要有明确的经典意识,并通过指导学生阅读经典文本,启迪学生的思维,开
八里湾泵站枢纽工程为南水北调东线工程第十三级提水泵站,站址位于河、湖相沉积地层,地质条件复杂.本文根据八里湾泵站枢纽各种测试资料及统计结果,对各建筑物的地质条件及基
我国当前装配式建筑发展尚不成熟,装配式建筑成本是影响其发展的重要因素。针对开发商关注的前期建设阶段,探究装配式住宅的经济效益。以深圳市某住宅项目为例,从设计成本、