基于可分离卷积神经网络的文本分类

来源 :上海大学 | 被引量 : 0次 | 上传用户:liongliong485
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着5G时代的到来,人工智能的发展面临着更大的挑战。如何快速有效地组织和管理人、机、物互联互通带来的海量数据成为了人工智能的研究重点。文本分类作为自然语言处理领域的基础方法,为处理和分析这些海量数据提供技术支持。目前,深度神经网络作为人工智能的核心技术,一直是人们研究的热点,尤其是卷积神经网络拥有强大的数据分析能力和良好的网络扩展性,在文本数据分析处理领域应用广泛。但是卷积神经网络模型的表现效果过于依赖网络结构和网络深度,模型训练耗费大量时间,应用成本较高。且现有的基于卷积神经网络的文本分类技术大多是从图像分类网络演化而来,没有充分考虑语言特征,并且在量级差异较大的数据集中不具备普适性。鉴于上述问题,论文提出了针对卷积神经网络的改进文本分类算法。本文的主要内容有以下几个部分:(1)针对卷积神经网络不能充分利用文本特征的问题,论文提出文本可分离卷积算法,用新设计的可分解两层卷积网络代替传统的文本卷积网络,更好的捕获文本特征。文本可分离卷积网络(Decomposable Convolutional Neural Network,DCNN)模型首先利用词嵌入卷积层来提取每个单词的词嵌入特征,再利用区域卷积层提取每个单词的上下文特征,实现了对文本特征的字词细颗粒和文本句子粗颗粒度的分级提取。DCNN模型在CPU上对多个数据集进行了实验测试,结果表明,与其他模型相比,DCNN模型不仅降低了训练复杂度,而且在精度和鲁棒性方面都取得了很好的效果。(2)针对卷积网络模型性能受网络结构影响大的问题,本文从网络卷积核尺寸和数量两个角度展开分析,探讨如何在确保DCNN模型准确率的同时降低模型复杂度。论文在样本量和文本长度差异较大的两个数据集上进行了多次对比实验,得到了DCNN模型具有最佳分类效果的网络结构参数,且该结构参数不受数据集差异影响。(3)由于传统Softmax算法在特征分类过程中具有局限性,不能很好的区分类内和类间特征,论文提出使用优化后的A-Softmax算法和AM-Softmax算法进一步提升DCNN模型的分类性能。模型在中、英文数据集中进行实验验证,证明了采用优化后的Softmax算法可以提高文本类内特征的聚合程度和类间特征的离散程度,较传统Softmax算法准确率提升了0.5~1个百分点,也证明了可分离卷积网络在语言上具有很好的泛化能力。
其他文献
建立科学有效的评估体系是非营利组织健康发展的重要保证。在国内外非营利组织评估理论的基础上,结合中国非营利组织现状,设计并构建了我国非营利组织评估体系,并以浙江省宁
<正> 湖泊沉积物中有机C/N比值可以提供湖泊古环境变化的重要历史信息。一般而言,陆生植物富含木质素和纤维素,不同于蛋白质含量较高的水生浮游植物。随着环境的改变,陆生植
会议
<正>揭示源于民间中医的移毒减毒技术,是将项背的疔疮痈疽之火毒、热毒、湿毒移到皮肉较厚的臀部溃破泄出。为什么要这样做呢?盖因项背部的痈疽疔疮离大脑较近,尤其是对口疮
会议
以藿香无菌苗幼嫩茎段为受体,利用根癌农杆菌介导法进行了绿色荧光蛋白基因(GFP)的遗传转化研究。经农杆菌侵染,通过共培养、选择培养后获得其抗性愈伤组织,对抗性愈伤组织的诱
目的探究不同麻醉方式对妊娠期糖尿病产妇血糖水平的影响。方法选取2017年在我院行剖宫产的104例妊娠期糖尿病产妇作为研究对象,依据分娩顺序随机平均分为观察组和参照组,每
<正>目的提出利用血管内光学相干断层扫描(OCT)和球囊加载以及反问题求解实现对血管壁力学性质定量测试的方法。方法 设计基于球囊加载和OCT数据采集的实验,提出图像处理算
会议
<正>胡锦涛同志在党的十八大报告中指出:"积极应对人口老龄化,大力发展老龄服务事业和产业。"目前,我市人口老龄化、高龄化、空巢化趋势明显,社会养老服务供需矛盾突出。为了
会议