论文部分内容阅读
句子相似度计算作为机器翻译、剽窃检测、查询排序及问题回答等诸多自然语言处理任务的基础,其准确性直接影响相关系统的性能,因而如何提升句子相似度计算的准确性成为亟待解决的问题。传统自然语言处理的方法主要利用人工指定的浅层特征,而基于神经网络模型的方法无需人工构造特征就可从大规模的文本中学习特征,进而获得句子的深层语义信息。由于卷积神经网络在提取特征时存在感受野狭小、卷积方式不灵活等问题,本文提出两种模型来改善上述问题,并研究了句子相似度计算在知识问答系统中的应用,主要研究内容包括以下三个方面:(1)提出了一种普通卷积和膨胀卷积结合的句子相似度计算模型CNN-IDCNN(Convolutional Neural Networks-Iterated Dilated Convolutional Neural Networks)。针对卷积神经网络在提取文本特征时感受野狭小、层级之间的池化方式存在信息损失的不足,提出了在普通卷积模块的基础上加入膨胀卷积模块的方式来提取句子长距离语义信息,让句子的特征表示包含词、短N-gram、长N-gram信息,从多个粒度丰富句子特征表示,从而提升相似度计算性能。(2)在融入依存句法树的卷积神经网络模型上进行了改进。卷积神经网络是通过特定大小的窗口对相邻词语进行卷积来提取特征,由于卷积窗口通常较小且只是对相邻词语做卷积,故而卷积方式不够灵活,忽略了原句中互不相邻但有强语义关联的词语组合,为此本文使用了融入句法树的卷积神经网络,通过将卷积核作用于由依存句法树得到的词语组合来改善上述问题。实验结果表明,本文提出的方法较传统方法有较大优势,且优于近些年提出的一些基于卷积神经网络模型的方法。(3)对基于问题匹配技术的问答系统进行了研究。主要研究了相似度计算在问答系统中的应用,即通过本文提出的相似度计算模型来比较用户提出的问句与候选句子之间的语义相似度,再将语义相似度最高的候选句所对应的答案返回给用户,从而完成问答系统。