论文部分内容阅读
随着5G时代的到来,人工智能的发展面临着更大的挑战。如何快速有效地组织和管理人、机、物互联互通带来的海量数据成为了人工智能的研究重点。文本分类作为自然语言处理领域的基础方法,为处理和分析这些海量数据提供技术支持。目前,深度神经网络作为人工智能的核心技术,一直是人们研究的热点,尤其是卷积神经网络拥有强大的数据分析能力和良好的网络扩展性,在文本数据分析处理领域应用广泛。但是卷积神经网络模型的表现效果过于依赖网络结构和网络深度,模型训练耗费大量时间,应用成本较高。且现有的基于卷积神经网络的文本分类技术大多是从图像分类网络演化而来,没有充分考虑语言特征,并且在量级差异较大的数据集中不具备普适性。鉴于上述问题,论文提出了针对卷积神经网络的改进文本分类算法。本文的主要内容有以下几个部分:(1)针对卷积神经网络不能充分利用文本特征的问题,论文提出文本可分离卷积算法,用新设计的可分解两层卷积网络代替传统的文本卷积网络,更好的捕获文本特征。文本可分离卷积网络(Decomposable Convolutional Neural Network,DCNN)模型首先利用词嵌入卷积层来提取每个单词的词嵌入特征,再利用区域卷积层提取每个单词的上下文特征,实现了对文本特征的字词细颗粒和文本句子粗颗粒度的分级提取。DCNN模型在CPU上对多个数据集进行了实验测试,结果表明,与其他模型相比,DCNN模型不仅降低了训练复杂度,而且在精度和鲁棒性方面都取得了很好的效果。(2)针对卷积网络模型性能受网络结构影响大的问题,本文从网络卷积核尺寸和数量两个角度展开分析,探讨如何在确保DCNN模型准确率的同时降低模型复杂度。论文在样本量和文本长度差异较大的两个数据集上进行了多次对比实验,得到了DCNN模型具有最佳分类效果的网络结构参数,且该结构参数不受数据集差异影响。(3)由于传统Softmax算法在特征分类过程中具有局限性,不能很好的区分类内和类间特征,论文提出使用优化后的A-Softmax算法和AM-Softmax算法进一步提升DCNN模型的分类性能。模型在中、英文数据集中进行实验验证,证明了采用优化后的Softmax算法可以提高文本类内特征的聚合程度和类间特征的离散程度,较传统Softmax算法准确率提升了0.5~1个百分点,也证明了可分离卷积网络在语言上具有很好的泛化能力。