论文部分内容阅读
语义组合计算是将词语语义组合成句子语义的过程,是获取句子语义表示的主要技术之一,广泛应用于情感分析、机器翻译、句子匹配等自然语言处理任务。语义组合性原理表明句子语义是由词汇语义根据句法结构组合得来的,因此语义组合计算与词义和句法紧密关联。目前,大多数研究主要关注对词汇语义表示的改进,少数研究开始关注对句法结构信息的利用。但这些结构化方法仍存在如下问题:(1)目前汉语依存分析在长距离依存关系上的分析精度还需要提升,以支持语义组合计算;(2)使用外部分析器,只能利用其提供的句法结构树的信息;同时,由于句法分析模型与语义组合模型的训练数据领域通常不同,会导致句法分析模型在应用于语义组合计算时精度的下降。针对上述问题,我们提出联合依存分析的汉语语义组合计算。本文首先提出自顶向下的汉语一体化依存分析模型,强化全局信息的利用,提升汉语依存分析的精度。然后在此基础上,本文构建联合依存分析的语义组合计算模型,提出依存分析中间信息的利用方法,提升语义组合模型的鲁棒性;并对依存分析和语义组合模型进行协同优化,降低数据领域不一致带来的影响。本文的主要工作和贡献总结如下:(1)构建自顶向下的汉语一体化依存模型。现有一体化依存分析模型主要采用Shift-Reduce分析算法,每一步仅对相邻节点进行转移动作的决策,难以充分利用句子的全局信息,在长距离依存分析上尚有提升空间。针对这一问题,本文提出自顶向下的依存分析模型,以Encoder-Decoder模型为框架,使用注意力机制进行依存节点的预测,在所有候选节点中选择最优节点进行依存关系的构建,提升了全局信息的利用效率。在公开数据集CTB5(Penn Chinese Treebank 5.0)上的实验结果显示,本文所提方法在汉语分词、词性标注和依存分析任务上的性能明显超过现有使用Shift-Reduce算法的模型,F1值分别达到了98.25%(+0.01%)、95.13%(+0.64%)和85.44%(+3.79%)。我们设计实验验证了在长距离依存分析上的有效性。(2)提出联合依存分析的汉语语义组合计算模型。针对现有结构化语义组合方法存在的问题,我们在(1)的基础上,提出联合依存分析的语义组合计算模型。本文首先提出基于注意力的语义组合模型,以依存句法树作为图注意力计算中的图,对每个节点的语义根据其孩子节点进行组合计算;然后提出依存分析中间信息的利用方法,将依存关系中作为头节点的语义信息引入语义组合模型,以降低依存分析的预测错误对语义组合模型带来的影响,提升语义组合模型的鲁棒性;最后通过依存分析与语义组合的联合学习,对依存分析模型进行领域自适应,提升依存分析模型的鲁棒性。我们将语义组合模型用于复述识别任务,在汉语复述识别数据集LCQMC上的实验结果显示,本文所提方法在复述识别任务上的预测正确率和F1值上分别达到76.81%和78.03%;我们进一步设计实验对联合学习和中间信息利用的有效性进行验证,并与代表性工作进行对比和分析。综上所述,本文针对现有汉语一体化依存分析和语义组合计算方法存在的问题,提出了自顶向下的汉语一体化依存分析算法,构建了联合依存分析的汉语语义组合模型,并在公开数据集上进行实验对比和分析,验证了所提方法的有效性。