论文部分内容阅读
实体间的语义关系分类是自然语言处理研究中的一项重要任务,它在信息检索、文本摘要、机器翻译、知识库构建、语义网络等领域都有着广泛的应用。同时,语义关系分类在词义消歧、语言模型、文本释义和文本蕴含等任务上也有着很好的辅助研究作用。近年来,随着深度学习研究的兴起,其在自然语言处理领域也得到了广泛的关注和应用。在语义关系分类领域,采用深度学习的方法比传统的基于特征和统计的方法在节约人工处理成本的同时,获得了更好的关系提取效果。现有的基于深度学习的语义关系分类方法大多都是基于浅层的神经网络模型,并没有充分利用神经网络在模型深度上提取更深层语义特征的优势。本文参考了在语言建模上门控卷积神经网络的工作和计算机视觉领域获得了很大成功的和深度残差网络的设计思路来构建深层的端到端神经网络语义关系分类模型。本文模型基于卷积神经网络文本分类模型,在浅层的文本特征上逐层提取文本更深层次的高级抽象特征,引入门控卷积神经网络的中门控线性单元和深度残差网络中残差学习的概念来解决模型深度增加导致的梯度消失问题和模型难以训练的问题。本文提出的端到端门控卷积神经网络模型在不引入外部语言学特征(linguistic features)的情况下,在SemEval-2010语义关系数据集上获得了 85.6%的F1值,达到了当前端到端语义关系分类方法的最好水平,证明了本文利用网络层数提升关系分类效果理论的有效性。句子词与词之间的依存关系,特别是实体名词之间的最短依存路径包含了重要的判断实体名词之间语义关系的信息,最短依存路径上的谓词-论元序列对语义关系判断有着很强的相关性。基于这一概念,本文在端到端模型的基础上融合了依存句法特征对语义关系分类任务作出进一步探究。为使依存关系表达的信息更为准确,本文同时引入了词性标注特征、语法关系特征和WordNet上位词特征辅助依存句法特征的提取。依存句法特征的提取采用两个独立的LSTM循环神经网络沿最短依存路径两个子树上的依存方向进行,并与端到端模型提取的句子整体的特征做特征融合。本文提出的混合模型可有效利用两种不同建模方式获取的融合特征,在端到端模型的基础上进一步将实验结果提升至87.0%,达到当前最好水平。