论文部分内容阅读
随着互联网的蓬勃发展,海量的文本信息正在不断涌现,这些信息在新闻资讯、电子商务、舆情监测等场景具有重要的价值。分类是对文本信息有效利用并解决上述实际场景需求的重要技术手段,而这些文本信息作为分类对象往往以单个语句或若干个词语拼接成的短句的形式出现,因此构建一个具有良好性能的句子分类模型是尤为关键的。句子分类的研究具有重要的应用价值。由于句子普遍具有长度短、新词多、重复成分少等特点,基于统计学习思想的句子分类方法往往需要耗费大量精力针对具体分类任务中句子的特点进行特征提取和选择,同时对于新的分类场景,需要重新构建特征,普适性较差。这些缺点在一定程度上限制了此类方法在句子分类问题中的应用。深度学习在自然语言处理领域的应用推动了句子分类问题的研究,近年来的研究表明,卷积神经网络能够通过词向量有效地应用在句子分类问题中。用于句子分类的卷积神经网络虽然能够提取句子中的局部特征,但忽视了在具体分类任务下,句子中不同的词语对分类结果的重要性有所不同,同时不同部分的词语间往往存在关联信息,此外,每个词对应的词向量表示受限于单一词向量训练方法,以上方面均影响最终提取的用于分类的句子特征。本文针对上述存在的问题进行了深入研究,主要内容如下:1)提出基于强化语义特征提取的卷积循环神经网络句子分类模型。该模型首先通过选取训练集每个类别中重要的词序列构造带有语义特征的卷积核,强化句子中对分类结果重要的词序列的语义特征提取,然后通过对词向量矩阵的卷积和局部池化提取句子的局部特征并保留句子的序列性,之后将局部特征作为循环神经网络的输入获取句子中的长距离依赖信息得到句子全局特征表示,最后通过全连接层和Softmax函数得到分类结果。模型强化了语义特征的提取能力,同时结合了卷积神经网络和循环神经网络的优势。2)提出基于强化语义特征提取的双路神经网络句子分类模型。针对句子中每个词对应的词向量表示受限于单一词向量训练方法的问题,在强化语义特征提取的基础上,以不同训练方法得到的词向量同时作为输入,构建双路卷积循环神经网络句子分类模型,并提出双路卷积神经网络句子分类模型作为对比,有效利用了不同种类的词向量得到更加丰富的句子特征。本文在多个公开数据集上对所提出的模型进行实验,并与多个已有的用于句子分类的模型进行对比。实验结果表明,本文所提出的模型在句子级情感分类和问题分类等不同的分类任务中具有良好的效果。